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随 着 计算 机 科学 技术 的 飞速 发 展 ， 人 类 下 进入 信息 时 代 ， 

信息 时代 是 应 用 数学 大 发 展 的 时 代 ， 和 人 类 长 期 积累 起 来 的 知 
识 体系 ， 正 面临 着 第 3 次 数学 化 ， 数 学 思想 ， 数 学 方法 与 数学 模 
型 随 着 计算 机 的 广泛 应 用 ， 日 益 活 透 到 各 种 行业 中 去 . 

当代 ， 除 了 古典 的 数学 理论 《初等 数学 ， 微 积分 学 ， 徽 分 方 
程 ， 复 变 函 数 等 ) 早已 得 到 广汉 的 座 用 外 ， 一 些 比较 朱 象 的 现代 
数学 理论 .集合 论 、 数 理 退 辑 、 范 钥 论 、 抽 象 代数 、 汉 代数 、 代 
数 几 何 、 拓 扑 学 、 滩 区 分 析 等 ) 以 及 一 些 新 兴 的 数学 理论 (随机 
过 程 、 时 间 序 列 、 运 筹 学 、 最 优化 理论 、 有 限 元 方法 、 模 糊 数 学 、 
混 症 与 分 形 等 》 也 逐渐 地 成 为 社会 生产 ， 科 学 实验 ， 工 程 技术 及 
经 济 管理 中 不 可 缺少 的 工具 ， 应 用 数学 的 适时 范围 正在 迅速 地 
扩大 . 

为 了 满足 日 益 增 长 的 社会 需求 ， 清 华 大 学 应 用 数学 系 《 现 代 
应 用 数学 手册 》 编 委 会 ， 组 织 编写 了 这 套 多 卷 集 的 手册 ， 

本 书 读者 是 理 、 工 、 医 、 农 、 经 管 等 各 个 领域 中 的 广大 工程 
技术 人 员 、 科 研 人 员 ， 次 、 中 专 院 被 的 教师 、 学 生 、 研 究 生 及 其 
他 使 用 数学 工具 的 实际 工作 者 .其 中 有 些 内 容 对 于 中 学 生 也 是 适 
用 的 . 

编者 力求 使 本 书 成 为 一 套 高 质量 的 工具 书 ， 它 有 下 列 特 点 ; 

(1) 内 容 “新颖 ” 本 书 力 求 做 到 内 容 现 代 化 , 除 用 现代 观点 
介绍 古典 内 容 外 ， 对 已 出 现 的 新 理论 、 新 方法 尽量 优先 选 入 .， 

(2) 突出 “应 用 ” 本 书 在 选材 上 突出 数学 理论 的 应 用 , 以 通 


上 


俗 易 慌 的 方式 着 重 介绍 在 现代 科学 技术 等 实际 领域 中 应 用 广泛 的 
数学 理论 和 方法 ， 

(3) 紧密 “结合 ”计算 机 应 用 为 了 更 有 效 地 应 用 数学 方法 解 
决 各 种 实际 间 题 ， 广 大 科技 人 员 追 切 要 求 数学 方法 与 计算 机 应 用 
相 结 舍 ， 提高 工作 效率 ， 为 此 ， 本 书 在 结合 计算 机 应 用 方面 ， 给 
于 特别 的 重视 . 

《4) 版 面 设计 “合理 ”, 便于 迅速 查阅 为 方便 读者 使 用 ， 
本 书 采 用 了 一 套 较 为 完善 的 索引 体 色 , 除 正文 中 章 、 节 的 编号 
沿用 国际 通行 的 十 进 制 编号 外 , 对 于 重要 的 定义 、 定理 , 例题 、 
公式 、 图 、 表 等 均 有 编号 ,读者 可 以 从 (1) 目录 ，(2》 中 文 一 
外 文 索引 ，(3) 外 文 一 中 文 索引 等 三 种 途径 ， 迅 速 找到 所 需 资 料 . 
此 外 ， 本 书 对 载 人 的 外 国 科学 家 人 名， 尽量 采用 “名 从 主人 ”的 
原则 . 

(5) 数学 符号 力求 “统一 "与 国际 化 鉴于 目前 国内 各 种 
文献 . 书籍 中 使 用 的 数学 符号 不 和 驶 统一 与 国际 化 , 增加 了 读 
者 阅读 时 的 困难 . 本 书 除 按 国家 标准 GB3102-93 外 ,兼用 国际 
数学 界 权威 著作 《数学 大 百科 辞典 》 (Encyclopedic Dictionary of 
Mathematics，EDM) 中 的 符号 为 标准 ,对 于 不 在 上 述 文献 中 的 其 
他 新 符号 ， 则 选用 较为 访 行 兰 ， 

本 手册 各 卷 内 容 独 立 完 于 ， 便 于 个 人 读者 与 团体 读者 按 需 选 
购 ， 当 前 应 用 数学 急剧 发 展 ， 编 委 会 在 条 件 成 熟 的 时 候 ， 还 将 增 
出 新 卷 ， 

本 书 的 编撰 是 与 清华 大 学 应 用 数学 系 领导 ， 特 别 是 萧 树 铁 教 
授 的 热心 支持 ， 编 辑 委员 会 各 位 编 委 的 通力 协作 ， 校 内 外 的 许多 
教师 、 科 研 工作 者 的 大 力 支持 分 不 开 的 ， 编 者 深 致谢 意 . 

在 编辑 出 版 过 程 中 ,还 得 到 清华 大 学 出 版 社 的 热情 支持 . 

直 全 * 


本 书 从 编撰 到 出 版 ， 历 尽 艰辛 ， 人 饮水 思源 ， 编 者 还 要 感谢 本 
书 的 发 起 人 ， 清 华 大 学 应 用 数学 系 陆 歼 教授 ， 北 京 出 版 社 李 利 军 
编辑 及 已 故 的 北京 出 版 社 社 长 王政 人 先生 ， 

最 后 , 编者 还 要 对 夫人 王 华 繁 表示 谢 忧 , 没有 她 的 深刻 理解 、 
热情 支持 与 持久 的 帮助 ， 本 书 也 难以 间 世 . 


主编 “ 马 振 华 
1997 年 于 清华 园 


编者 说 明 


近年 来 ， 在 发 达 国 家 中 ， 概 率 统计 与 随机 过 程 的 应 用 在 科学 
研究 、 技 术 开 发 、 生 产 管理 与 社会 经 济 生活 的 各 个 领域 内 发 挥 了 
重要 作用 . 例如 日 本 从 50 年 代 起 将 统计 方法 与 工业 质量 管理 结合 
起 来 .对 推动 经 济 飞 速 发 展 起 了 至 关 重 要 的 作用 .在 我 国 ， 概 这 
论 与 统计 方法 的 应 用 也 日 益 引 起 重视 ， 我 们 编写 本 书 的 上 且 的 就 是 
为 向 广大 科技 工作 者 、 管 理 人 员 与 大 中 专 院 校 师 生 提供 一 本 概率 
与 统计 的 工具 书 ， 以 供 查阅 、 使 用 . 

本 书包 含 三 大 部 分 . 第 一 部 分 内 容 为 概率 论 基 础 ,包括 第 1 这 
10 章 , 第 二 部 分 内 容 为 数理 统计 方法 ， 包 括 第 11 至 20 章 , 第 三 
部 分 为 随机 过 程 与 应 用 慨 率 方法 ， 包 插 第 21 至 35 章 ， 本 书 的 特 
点 是 覆盖 面 宽 ,内 容 先 进 , 实用 性 强 及 使 于 查阅 . 在 编写 过 程 中 ， 
我 们 力求 对 内 容 的 叙述 和 做 到 深入 浅 出 ， 重 点 放 在 便于 理解 与 应 
用 上 ， 

限于 我 们 的 水 平 ， 在 编写 中 可 能 出 现 错误 ， 欢 迎 广大 读者 给 
予 指正 . 
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1 随机 事件 及 其 概率 


随机 各 件 及 其 概率 是 概率 论 中 两 个 最 基本 的 概念 . 本 章 从 直 
观 的 和 角度 来 讨论 这 两 个 概念 ,在 第 7 章 讨 论 严格 的 数学 形式 . 


1.1 随机 事件 


1.1.1 随机 试验 与 随机 事件 


随机 试验 (random experiment 是 一 个 可 观察 结果 的 人 工 或 
自然 的 过 程 , 其 产生 的 结果 可 能 不 止 一 个 , 且 不 能 事先 确定 会 产生 
什么 结果 . 

随机 试验 其 一 个 相当 广泛 的 概念 . 例如 ,一 次 科学 试验 ,一 个 
受到 观测 记录 的 自然 过程 ( 如 天 气 ) 或 社会 过 程 (如 市 场 ), 一 组 数 
据 的 采集 (如 人 人 口 调查 ) 等 ,都 可 以 看 作 是 一 个 随机 试验 . 

样本 室 间 (sarmple space) 是 -个 随机 试验 的 全 部 可 能 出 现 的 
结果 的 集合 ,通常 记 作 只 .口中 的 点 ( 即 一 个 可 能 出 现 的 试验 结果 ? 
称 为 样本 点 (sampje point) ,通常 记 作 名. 

随机 事件 (random event? 是 -- 个 随机 试验 的 一 些 可 能 结果 的 
集 人 台 , 是 样本 空间 的 一 个 子 集 . 它 常 用 大 写 拉丁 字母 4, BC 
表示 . 

以 下 简称 随机 事件 为 事件 . 在 实际 问题 中 ,事件 常用 一 句 话 来 
措 述 5 网 例 1 1.1 一 1 1.4). 当 试验 的 结果 ( 即 一 个 样本 点 ) 属 于 基 
事件 所 对 应 的 子 集 时 , 则 称 该 事件 发 生 . 为 了 数学 表示 上 的 方便 ， 
空 集 也 算 作 -一 个 事件 , 记 作 名 .样本 空间 只 本 身 也 表示 一 个 事件 . 

例 11.1 将 一 枚 硬币 连 搓 两 次 ,观察 硬币 落地 后 是 花 面 向 

1] 。 


上 还 是 字面 向 上 . 这 是 一 个 随机 试验 .用 已 记 花 面向 上 ,W 记 字 
面向 上 , 则 共有 4 个 可 能 出 现 的 结果 (样本 点 ): 
一 HH,w = HW,wo — WH,w, = WW. 
样本 空间 f= {ws to es tw ， 
其 中 % 一 HU, 表示 第 一 次 与 第 二 次 均 出 现 花 闸 ;w 一 HW， 
表示 第 一 次 出 现 花 面 , 第 二 次 出 现 字 面 ; 等 等 . 
考虑 下 述 事 件 ， 
4 二 “ 花 面 字面 各 出 现 一 次 ”， 
BB 二 “第 一 次 出 现 花 面 ”， 
C 一 至少 出 现 一 次 花 面 ”， 
了 二 “至 多 出 现 一 次 花 面 ”. 
则 
A= {wr} B= (eye C= (wm) DD= {ws 0a th,}. 
例 1.1.2 记录 某 电 话 交换 台 在 上 午 9 点 至 10 点 之 间 内 接 
到 呼唤 的 次 数 , 是 一 次 随机 试验 ,其 试验 结果 可 以 用 任 一 个 非 负 整 
数值 来 表示 . 国 此 样本 空间 只 一 f0,1,.2,…}. 设 事件 4 为 “ 接 到 5 
次 以 上 的 呼唤 *, 捉 件 B 为 “没有 接 到 呼唤 ” 则 
A= {8516.0"}, B= 1{0}, 
例 1.1.3 从 一 大 批 灯泡 中 随意 抽 一 个 检验 其 寿命 ( 接 通电 
源 直到 灯丝 烧 断 为 止 ), 这 也 是 ' -个 随机 试验 . 以 小 时 为 单位 ,灯泡 
的 寿命 可 以 用 任 一 个 非 负 实 数 来 表示 ,样本 空间 0= {w|0 志 ww). 
设 事件 4 为 * 灯 泡 寿命 不 超过 10000 小 时 ”, 则 4 = {o@|10 雪 中 所 
10000}. 
例 1.1.4 为 调查 儿童 健康 状况 ,从 菜 地 区 某 年 龄 组 的 儿童 
中 随机 地 抽取 100 名 称 量 其 体重 ,这 也 是 一 次 随机 试验 . 以 kg 为 
单位 , 则 一 个 试验 结果 可 以 用 100 个 非 全 实 数 来 表示 , 记 为 zz， 
zone 样本 空间 为 DD= {w= Cayyyxjo0) |X 这 0 二], :»,100}, 
设 事 件 4 为“ 测试 儿童 平均 体重 超过 15kg”, 则 
-Ds 


二 fi 


2 
A= w= Cx i) | 之 0 二 ]， 100，100 106 之 15]. 


碾 雇 上 几 例 可 以 看 出 ,随机 试验 的 结果 是 非常 不 间 的 ,可 以 是 
一 个 数 ( 例 1.1.2,1.1.3), 也 可 以 是 一 个 数组 ( 例 1. 1.4) 或 是 一 个 
符号 串 ( 例 1. 1.1). 在 实际 问题 中 ,要 正确 地 认 清 样本 空间 和 事件 
是 如 何 构成 的 . 


1.1.2 事件 间 的 关系 与 运算 


当 谈 到 一 个 以 上 的 事件 时 ,总 是 对 同一 试验 的 样本 空间 上 的 
事件 而 言 的 . 

定义 1.1.5 两 个 捉 件 4 与 8 可 能 有 以 下 几 种 特殊 的 关系 : 

(1) 包含 (eontain) 车 事件 B 发生 则 事件 4 也 发 生 , 称 
“4 包含 8 或 “B 会 于 4”, 记 作 4A 沪 B 或 BCCA. 

(2) 等 价 (eqauivalent) 着 4DB 且 8 必 A, 即 4 与 8 同时 发 
生 或 同时 不 发 生 , 则 称 .4 与 台 等 和 价 , 记 作 4=B. 

(3) 吾 斥 (exclusive) 若 4 与 B 不 能 同时 发 生 , 则 称 A4 与 B 
互 不 , 记 作 48 二 2. 

(4) 对 立 (contrary) 车 有 4 与 BB 互 斥 .上 且 必 一 个 发 生 , 则 称 
并 与 如 对 立 ;, 记 和 作 A4=B 或 B= 4. 叉 称 4 为 台 的 余 事 件 
complement) 三 BB 为 44 的 余 事 忻 . 

任意 两 个 事件 不 一 定 会 是 上 述 儿 种 关系 中 的 一 种 . 

由 给 定 的 一 些 事 件 按 下 述 运 算 可 导出 新 的 事件 ， 

定义 1.1.6 设 4.8,A4,As,,A4, 为 一 些 事件 ,它们 有 下 述 
的 运算 ， 

C1) 之 {interseclion) 记忆 一 “A 与 同时 发 生 ”, 称 为 事件 
站 与 如 的 交 ,C 一 {wlwEA 有 RwEB}, 记 作 C=A 门 5, 或 C=AB. 


类 似 地 用 站 4 一 4 站 4 们 … 门 4 一 414.…4, 表示 事件 “ 儿 


二 本 二 


个 事件 41,4,,… .A4, 间 时 发 生 ”. 


门 4 = {ww EE A = ly ,nn), 


5 一 上 | 


(2) 并 Qunion) 记 C=“A 与 B 中 至少 有 一 个 发 生 *, 称 为 事 
件 4 与 吾 的 并 ,C={wjwEA 或 wEBI 记 作 C=AUB. 


类 悠 地 用 [4 = A1U A U … 了 U4, 表示 事件 和 4,,4;,…， 
4 几 个 事件 中 至 少 有 一 个 发 生 ” 
Ua 一 {w|wo 属 六 某 一 个 人 一 lr nt}. 


(3) 凑 (difference) 记忆 ="A 发 生 市 B 木 发 生 ”, 称 为 事件 
科 与 避 的 着 ,C={wlwE4, 但 weE8), 记 作 C==A\B8( 或 4 一 B). 
注 并 和 交 的 运算 可 推广 到 匹 穷 多 个 事件 ， 
由 上 述 二 种 基本 的 运算 双 可 导出 下 列 几 种 特殊 的 运算 . 
定义 1.1.7 设 如 为 样本 空间 ,4 .如 为 两 个 事件 . 
(1) 求全 tcomplementation}》 
本 一 Th4 
C2) 直 和 (qirect sum) 若 4 一 由, 刚 记 
及 十 B= 二 ALB 
C3) 对 称 着 {symmetric difference) 
AAB = (A LU BI\CAB) 
事件 运算 有 下 列 的 规律 
C1) 交换 律 A4UB8=8LA4,48 一 8A. 
C2) 结合 律 (AUB})UC=AU BUO)， 
CAB)C= ACBC). (1.1) 
《3) 分 配 律 ”CAU BC= CACYU (BC). 
CABYUC=CAUCO CBUCY. 
《4) 德 摩根 (De Morgan}) 律 
. 和 4 ' 


(Ua4) = 门 去 ，( 门 4 一 局 环 . (1.2) 
《5) 直 和 分 解 律 
U4 = 4 上 (4 AD + 十 (二 二 元) 
7 一 


(1. 3) 

事件 运算 的 优先 顺序 为 : 求 余 , 对 称 差 . 变 , 差 和 并 . 
例 1.1.8 设 事件 4,B,C 和 了 如 合 1.1,1 中 定义 , 则 4= 
wt BC {wm} = BC—D=iw}, 
例 119 设 有 ,B,C 为 三 个 事件 ,用 它们 之 间 的 运算 美 系 表 
示 下 列 几 个 事件 ， 

DD 二 “4A,B8,C 同时 发 生 ”， 

世 二 “4 ,B,C 都 不 发 生 ”， 

五 一 “4, BC 至 少 发 生 一 个 ”， 

G 一 4, BC 至 多 发 生 一 个 ” 


{eu ， 


则 
D=ABC. 
E=ABC=AUBUC. 
F—~AUBUC=ABC+ABC+ABC+ABC+A BC+ABC 
+ABC., 
G=ABC+ABCT+ABC+ABC., 


1.2 事件 的 概率 


1.2. 1 概率 的 定义 及 其 频率 解释 

定义 1.2.1 设 只 为 一 个 随机 试验 的 样本 空间 ,对 如 上 的 任 
一 事件 4 ,规定 一 个 实数 与 之 对 应 记 为 P(4) ,满足 下 述 三 条 基本 
性 质 , 称 为 事件 4 发 生 的 概率 (probability)，; 


(1) 0 所 亚 (4) 扫 1 

(2) PUD=1.P(O)=0. 

(3) 若 二 事件 48B 互 斥 , 期 4B 二 他 , 则 
P(A UB) = P(A) + PB). 

上 述 三 条 基本 规定 是 符合 常识 的 . 

例 1.2.2 设 一 个 随机 试验 只 有 两 个 可 能 的 结果 , 记 为 wo 和 
避 ; 则 所 有 可 能 的 事件 只有 4 个 : 

人 二 {worw) fen {wm} 和 和 空 集 他 . 

对 每 个 事 忻 定义 一 个 概率 如 下 : 

PCB) = 1，PKta) = 1 op Pa)) = pP(C) 一 0. 
其 中 户 为 介 于 0 和 1 之 间 的 一 个 正 数 , 窒 易 验证 ,这 样 规定 的 概率 
满足 定义 1.2. 1 中 要 求 的 三 条 基本 性 质 . 

由 此 例 看 出 , 当 关 在 0 与 1 之 间 选 不 同 的 值 时 ,事件 的 概率 是 
不 同 的 . 这 说 明 , 对 具体 事件 赋 概 率 时 有 一 定 的 波音 性 , 为 此 需 回 
答 下 面 两 个 问题 : 

第 一 ,概率 的 客观 背景 是 什么 ? 换言之 , 当 人 们 说 某 一 事件 发 
生 的 概率 为 百 分 之 几 十 时 ,其 客观 含义 是 什么 ? 

第 二 ,如 何 根据 一 定 的 试验 结果 来 为 事件 感 恰当 的 概率 或 判 
断 我 们 对 茶 -事件 所 赋 的 概率 是 否 恰 当 ? 

表 1.1 历史 上 毛 硬 币 试验 的 记录 

总 试验 次 数 花 面向 上 次 数 芭 
4040 | 2048 
8019 
12012 


0 5070 
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人 类 由 经 验 发 现 : 当 大 量 重 复 地 进行 随机 试验 时 ,随机 事件 的 
发 生 呈 现 出 一 定 的 规律 性 . 以 气 掷 硬币 的 试验 为 例 , 前 人 曾 作 过 多 
6. 


次 试验 ,发 现 当 抛 据 次 数 很 太 时 ,北面 和 字面 出 现 的 深 数 相当 接 
近 , 即 大 约 各 占 总 试 瞧 次 数 的 50%, 试验 结果 与 人 们 按 直 觉 判 断 
的 结论 “出 更 花 面 和 字面 的 可 能 性 各 为 14? 的 理性 分 析 相 吻合 . 

除了 掷 硬币 之 外 ,人 和 们 还 作 了 许多 其 它 的 试验 ,都 吕 示 了 下 述 
的 客观 规律 性 ; 

设 某 一 随 析 试 瞪 可 以 在 不 改变 坛 验 条 件 的 前 提 下 互 不 干扰 
地 重复 进行 任意 多 次 ， 4 为 一 次 试验 所 产生 的 任 一 个 事件 ， 记 >” 
为 试验 次 数 ，m 为 企 # 次 试验 中 4 发 持 的 次 数 ， 记 二 wn 为 4 
在 呈 次 试验 中 发 生 的 频率 (frequency),， 则 当 试 验 次 数 呈 很 大 卫 
不 断 增 大 时 ， 六 稳定 地 趋向 上 革 一 定 值 . 这 种 性 质 称 为 频率 的 稳 
定性 . 

由 于 频率 的 性 质 与 定义 1, 2.1 中 所 规定 的 三 条 基本 性 质 基本 
相同 ,可 以 推出 频率 所 趋向 的 洁 值 也 满足 这 三 条 基本 性 质 . 因此 这 
些 定 值 可 以 解释 为 事件 发 生 的 概率 , 这 种 用 频率 的 "极限 ?来 解释 
概率 的 观点 被 称 为 概率 的 频率 解释 或 统计 和 解释 ,频率 的 稳定 性 又 
可 称 为 经 验 大 数 定律 . 

在 统计 物理 学 中 ,利用 频率 的 稳定 性 建立 概率 异型 来 解释 分 
子 运动 的 规律 .在 数理 统计 学 中 利用 频率 的 稳定 性 来 解答 上 面 提 
出 的 第 二 个 问题 . 首先 , 当 我 们 不 知道 某 个 溃 件 的 概率 时 ,可 以 用 
频率 法 近似 地 估计 它 ; 其 次 , 当 我 们 假设 某 一 举 件 发 生 的 松 率 在 -- 
定 范围 内 时 ,可 以 用 频率 去 检验 它 ， 

当 随 机 试验 不 能 重复 时 ,概率 失去 其 频率 解释 的 含义 . 此 时 ， 
概率 还 有 其 他 解释 . 围绕 着 对 概率 概念 的 不 同 解 入 已 形成 了 三 六 
学 派 :频率 学 派 ,Bayes 学 派 与 信念 tftiducal) 学 派 . 


1.2.2 概率 的 性 质 


除了 定义 1.2.1 中 所 列 的 三 条 基本 性 质 以 外 ,概率 还 有 一 些 
重要 的 性 质 . 


引 理 1, 2. 3 概率 的 性 质 
01) 单调 性 设 4 沪 8, 则 PCA) 宕 PCB). 


{2) 有 限 与 可 列 可 加 性 设 4 ，…4, 为 一 
件 , 即 Ai4, 一 四 , 当 i 则 
P! >4)- DPA 


P| 5}4,) = PC4 
并 ji 一 1 
(3) 连续 性 设 A DA TB 


Pl 站 4 | = limP(A,). 


列 两 本 互 斥 的 事 


Pl UB. | 一 limP (CB,). 


注 可 列 可 加 性 与 连续 性 并 不 能 由 定义 1 2. 1 推出 ,因为 该 
定义 在 数学 上 还 不 是 十 分 严格 的 ,读者 可 参阅 7. 1 节 . 

引 理 1.2. 4 概率 计算 的 常用 公式 

(1) PeA— B= P(AY -PAD). 

《27 PCAY=1—P(A). 

(3) PCAUB—=PCODY)+TPCB)— PAB). 


P( U4)= P(A) 2 PIAAD+,. 2 [P(AiA,AR) 


J je 


一 .二 (一 1)" IPOA A,:: 41 


(A) PCAAB)Y=PCAUBI—PCAB). 
定 风 14.2.5 设 14,1n 一 1,2,…} 为 一 组 有 限 或 可 列 无 穷 多 个 


事件 ,两 两 不 相交 是 274,— 一 交 , 则 称 事件 族 14 一 1,2，)} 为 


样本 空间 如 的 -- 个 完备 事件 族 又 若 对 任 一 事件 只 有 24, 一 
或 娩 训 一 1 2 , 则 称 ! 一 1 2 } 为 基本 事件 族 . 
定理 1 2. 在 若 1472 = 1.2,…} 为 一 党 备 事件 族 , 则 


=" 


P04,) 一 1 工 , 且 对 任 一 事件 吾 有 
PB) = >》 PCA)， 


忆 若 14.m2 一 1;2.，) 为 一 基本 事件 族 , 则 
POB) = YP PUA,). 


例 1.2.7 设 一 稚 中 及 个 红 球 和 了 4 个 白 球 .从 中 无 放 回 地 
抽取 个 球 . 记 N 个 红 球 为 RRos 呈 Ray, 个 日 球 为 Wi,W;， 
… ,Wy 则 每 个 样本 点 为 x 个 R, 和 W 的 一 个 排列 . 假设 抽 球 记录 
只 考 嵌 抽 到 几 个 什么 样 的 红 球 和 几 个 什么 料 的 自 球 . 面 不 考虑 其 
抽 到 的 先后 顺序 , 则 等 个 基本 事件 为 ”个 RK, 和 W, 的 组 合 .由 于 每 
个 基本 事件 中 有 相同 多 的 祥 本 点 (2! 个 ), 因 此 ,在 古典 概率 模型 
中 (见闻 1. 3) ,每 个 基本 事件 有 相同 的 概率 1/| 六 坟 M| .于 是 对 
事件 已“ 抽 到 人 个 红 球 (4<<m) ,其 中 包含 了 | 信 1 ,Mj 个 基 
本 事件 , 故 PC 一 | 六 N 语 2 
1.2.3 概率 分 布 


定居 1.23.8 设 避 为 样本 空间 ,对 只 上 的 所 有 事件 依照 定义 
1.2.1 的 规定 确定 了 概率 ; 则 {P(A)14 为 人 上 的 事件 } 构 成 样本 
空间 六 上 的 一 个 概率 分 布 (probability distribution )， 

若 吕 了 上 存在 - 族 有 限 或 可 列 多 个 直 本 上 串 件 , 旦 对 每 个 基本 事 
件 规 定 了 发 生 的 概率 , 划 由 定理 1.2.6 可 知 任 -- 事 件 的 概率 就 由 
这 些 基本 事件 的 概率 所 决定 ， 

例 1.2.9 ee {fe}, 
为 样本 点 总 数 , 则 事件 {wi) ,1 二 12 和 


此 确定 的 概率 分 布 称 为 等 概率 分 布 或 二 身 概 这 分 机 


例 守 2. 1 设 样本 空间 吕 =10,1,2,…} ,对 基本 事件 族人 1) ， 
& 一 0,1:2, 定 光 概 率 为 
PCOR)) 二 站。 一 01.2， 


则 确定 了 口上 的 … 个 概率 分 布 , 称 为 泊 松 (Poisson 分布 ( 详 见闻 
6. 2), 

然而 在 很 多 场 台 并 不 存在 一 个 有 限 或 可 列 的 基本 事件 族 ,此 
时 ,概率 分 布 的 表达 形式 比较 复杂 . 例如 :9 为 实数 空间 RR 或 Ri 
上 的 一 个 区 间 . 这 时 ,事件 的 概率 就 要 用 积分 的 形式 来 表示 ， 

例 1.2.11 设 吕 =R' 上 的 任 一 事件 可 由 有 限 或 可 列 无 穷 
多 个 区 间 的 并 和 交 的 运算 得 到 ,对 任 一 区 间 (a.8], 定 义 


Plta,pl) = | 


1 
世人 
T 


这 样 确定 的 拔 率 分 布 称 为 标准 正 恋 分 布 (standard normal 
distribution)《 详 见 6. 4)， 


1.3 古典 概率 


定义 1.3.1 设 样本 空间 只 由 有 限 个 样本 点 构成 , 苦 每 个 样 
本 点 作为 一 个 基本 党 件 有 相同 的 发 生 概 率 , 如 此 确定 的 概率 分 布 
称 为 古典 概率 分 布 (classical probability distribution) . 
推论 1. 3.2 设 2 二 和 wywarr 0 ;在 和 上 定义 了 一 个 古典 
概率 分 布 , 则 有 PC{w,)) 二 二 ,i 二 1,…,n, 且 对 任 -事件 4 有 
PC4) 一 二 (4 中 样本 点 数 ) 


古典 概率 分 布 是 一 种 理论 .上 简单 而 又 有 广泛 实用 价值 的 概率 

模型 . 使 用 古典 概率 模型 的 前 提 是 样本 点 具有 某 种 对 称 性 或 经 受 

住 频 率 检验 . 例如 掷 一 枚 硬币 ,观察 其 向 上 的 面 ,如 果 可 以 认为 硬 
* 10. 


币 的 形状 是 标准 的 ,质地 是 均 押 的 ,就 没有 理由 认为 某 :- 面 向 工 的 
概率 比 另 一 面 更 大 些 . 频率 检验 也 证 明了 这 -一 点 ( 见 表 1. 1)》. 

例 1.3.3 在 一 个 由 个 个 体 (Cindividual) 组 成 的 总 体 
Cpopulation) 中 到 次 抽取 x 个 个 体 , 称 为 抽样 (sampling), 假如 在 
抽样 这 程 中 每 抽 到 -个 个 体悟 做 记录 ,再 将 此 个 体 放 回 , 押 下- - 
个 . 这 样 的 抽样 称 为 有 旗 回 抽样 (sampling with replacement). 在 
有 放 回 抽样 中 ,每 个 结果 是 个 个 体 (允许 重复 ) 的 一 个 排列 .样本 
后 总数 为 "因此 在 而 典 往 洁 模型 中 每 个 样本 点 发 生 的 概率 为 
1/N". 

例 1.3.4 设 在 一 袋 内 有 闪 个 器 球 和 好 个 黑 球 , 从 中 有 放 回 
地 随机 抽取 ”个 球 , 则 搬 到 在 个 白 球 的 概率 为 

Pi = (RI pg 下 一 012 
其 中 b= Ni NE 

分 析 如 下 :由 于 样本 点 的 总 数 为 CN 十 M)", 因 此 每 个 样本 点 
发 后 的 概率 为 /CN 十 MD). 记 A; 为 事 侍 “ 抽 到 下 个 白 球 ”, 则 4 中 
的 样本 点 可 掖 以 下 两 步 分 类 . 首先 考虑 这 皮 个 白 蒜 是 在 哪儿 次 按 
取 中 获得 的 可 分 成 | 中 个 类 . 其 次 ,从 N 个 白 球 中 了 上 个 ,在 有 放 
回 抽 样 场合 有 N 种 可 能 性 ,最 后 从 MM 个 黑 球 中 取 n 一 上 个 有 
az 种 可 能 性 . 于 是 4， 中 样本 点 数 为 [| NM" 再 由 推论 
1. 3.2 即 得 P; 的 表达 式 . 

利 再 牛顿 二 项 公式 容易 验证 7 二 1. 因此 1P,Jk=0,1,2， 
… 2 在 样本 空间 中 一 10, 1 上 确定 了 一 个 概率 分 布 , 称 为 
二 项 分 布 (binomial distribution3( 详 见 6, 1). 

例 1.3.5 在 一 个 由 NN 个 个 体 构成 的 总 栖 中 随机 抽取 个 个 
体 . 假定 抽样 过 程 是 每 次 抽取 一 个 个 体 . 记 录 后 不 再 放 回 总 体 中 ， 
再 抽 下 -个 ,直到 抽 和 到 = 个 个 体 为 止 Ca 守 交 )。 这 种 抽样 称 为 无 放 

有 11 . 


刁 抽 样 (sampjing without replacement), 在 无 放 回 抽样 场合 ,样本 
点 总 数 为 NON 一 1) "(NN 一 n 十 1), 车 不 考虑 抽样 的 顺序 , 则 有 
{ 全] 个 基本 事件 ,每 个 包含 al 个 样本 点 . 
例 1.3.6 设 一 袋 中 有 六 个 白 球 ,M 个 黑 球 ,从 中 无 放 回 地 
抽取 = 个 , 则 独到 关 个 白 球 的 概率 为 
TA 


容易 验证 ，33h 一 1. 因此 {加 18 一 0,1,…,#) 在 样本 空间 0 
一 {0, 1，, i] na 上 确定 了 一 个 帮 率 分 布 ， 称 为 超 几 和 何 分 布 


‘hypergeometric distribution) ( 详 风 6. 3.7). 
天 的 计算 方法 如 下 :在 无 放 回 抽样 中 ,不 考虑 顺序 , 则 共有 


(六 让 澡 ] 个 基本 事件 ,每 个 基本 事件 有 相同 个 数 的 样本 点 (4 


个 ). 因此 ,每 个 基本 事件 的 概率 为 | 六 十 1 ,记忆 为 抽 到 不 个 
白 球 的 事件 , 则 B, 中 的 基本 事件 可 按 下 列 两 步 分 类 . 首先 考虑 包 
含 吐 站 个 白 球 ,可 分 | 如]} 类 ,其 次 再 考虑 包含 哪 a 一 个 黑 球 ,可 分 


[6 类. 故 B 中 共 包 含 { 六] (好 个 基本 事件 .因此 由 定理 
1 2.6 知 包 一 | 全 jw 和 /[ 交 二 他 ， 

在 物理 学 中 研究 质点 在 相 空间 中 散布 的 情况 ,要 建立 怡 当 的 
概率 模型 . 设 有 7r 个 质点 ,而 相 空 间 被 划分 成 个 小 区 域 , 则 + 个 
质点 在 # 个 小 区 域 中 的 散布 情形 ,可 以 用 7 个 球 投入 个 盒 的 模 
型 来 形象 地 描述 . 有 三 种 不 同 的 基于 十 典 概率 的 物理 模型 ， 

例 1.3.7 麦克 斯 威 尔 - 波 尔 著 有 (Maxwell-Boltzmann) 模 型 
设 z 个 球 是 可 分 辩 的 , 且 每 个 合子 可 容纳 的 球 数 没有 限制 . 则 x 个 
球 在 个 盒 中 的 可 能 的 散布 状态 共有 ww 种 ,每 种 可 能 的 散布 状态 
发 生 的 概率 为 ze 

日 12 里 


例 1.3.8 波 梧 - 爱 因 斯 地 (Bose-Einstein) 模 型 ” 设 r 个 球 不 
可 分 辨 :每 个 盒子 可 容纳 的 球 数 也 没有 限制 . 则 r 个 球 在 ”个 盒 中 
的 散布 状态 仅 由 球 分 配 到 每 个 盒 中 的 个 数 来 确定 ,共有 
(7 是 种 可 能 的 状态 ,每 种 可 能 的 状态 发 生 的 往 率 为 
50) . 

例 1.3.9 费 米 - 狄 拉克 (Fermi-Dirac) 模 型 设 7 个 球 不 可 
分 辨 , 且 每 个 盒 中 至 多 只 能 容纳 -一 个 球 . 则 有 [ ?| 种 散布 状态 ,每 


种 状态 发 生 的 概率 为 [ *) ， 

上 述 三 种 模型 适合 于 描述 不 同 的 物理 粒子 的 运动 状态 ， 

例 1.3.10 数字 1,2,… ,NN 的 一 个 随机 排列 中 , 若 数 字 关 恰 
排 在 第 个 位 置 上 则 称 为 一 个 相合 (congrence), 在 一 个 排列 中 相 
合 的 个 数 可 能 为 :0,1,2,…,N 一 2,N. 由 于 排列 的 总 数 为 N!, 因 
此 每 个 排列 发 生 的 概率 为 (N1)-. 用 A; 记 事件 “在 第 i 个 位 置 上 
发 生 相 合 ”, 则 

P(AY = (NO— DUN! 


_ 工 ， 


PlAAD) = (NO— IAN! = NN — 15 


1 
NN— DON— 2)° 
< 


续 C 记 事件 “至 少 有 一 个 相 侣 发 生 ” 则 直 公 式 41. 2. 4) 有 
PC =P{ Ua) 


N11 Ni 1 Ni 1 

er TE 
a 

TD Ny Ni 


= ]3" 


了 工 1_... wi 1 
=1 红 十 下 十 《一 了 fw 一 271 


yn 
十 (一 12} i 


例 1.3.11 设 n 个 字母 4 各 个 字母 B 排 成 一 列 , 则 这 一 
列 字母 可 分 成 若干 个 小 段 , 每 段 内 的 字母 相同 ,而 相 邻 段 的 字母 不 
同 , 这 样 的 一 个 小 眉 称 为 一 个 游程 (run) 或 连 芙 . 如 ,在 排列 
AAABAABBA 中 有 5 个 游程 , 即 3 个 A 游程 A4A,AA 及 4,2 
个 B 游 程 B 及 BB.n 个 4 和 mw 个 BB 的 排列 共有 [” 记 ”) 种 可 区 
分 的 结果 . 而 一 个 排列 中 有 * 个 4 游程 相当 于 把 个 不 可 分 辨 的 
球 投入 个 例 中 且 没 有 一 个 盒 是 空 的 ,共有 (二 | | 种 可 能 的 状 
态 . 同 理 ,一 个 排列 中 有 /个 B 游程 的 可 能 的 状态 为 (和 二 | 种 ,但 
| 一 上 | 挝 1. 据 此 可 算出 : 

plh 个 4 游程 ,& 一 1 个 B 游 程 )=[ 2 二}) [加 J) /4 ). 

个 六 和 了 个 县 肖 引用 ed 

PC 个 4 游程 ,w 十 1 个 台 游 程 ) 一 [2 1 /*). 
由 以 上 三 式 可 推 得 

P(x 个 4 游程 ;==[ 2 二 1 二). 


1.4 几何 概率 


作为 等 概率 模型 ,古典 概率 只 适用 于 有 限 样本 空间 , 但 利用 古 
典 概率 等 于 事件 中 样本 点 的 个 数 与 样本 点 总 数 之 比 的 性 质 , 可 推 
广 到 一 类 定义 在 无 限 样 本 空间 上 的 等 概率 模型 . 
设 样本 空间 8 为 -- 维 直线 (或 二 维 平面 ,或 三 维 空间 ) 鞋 的 有 
= 4。 


界 区 伺 ( 或 有 和 界 平面 区 域 ,或 有 界 空间 区 域 ), 则 对 任 一 事件 4, 可 
定 几 其 概 认 如 下 : 
4 的 长 度 (面积 ,体积 
PD 一 全 鸭 长 全 0 曙 积 :体积 3 
这 样 定 义 的 概率 满足 定义 1.2. 1 中 规定 的 三 条 性 质 . 由 此 产 : 
生 的 概率 模型 称 为 几何 概率 模型 (geornetric probability model ). 
例 上 41 设 一 个 球 在 - -个 半径 为 1 的 阅 盘 上 作 随 机 滚动 后 
停止 . 则 此 球 停 在 圆 疮 上任 一 区 域 志 中 的 概率 为 
?一 责 丰 表 本 机 二 (5 的 轴 和 7 
是 -个 几何 概 闵 模型 
例 1.4.2 灌 二 试验 (Buffon Experiment》 法 国 科 学 家 萧 趟 
曾 作 过 如 下 的 试验 :在 平面 上 画 ~ 些 相隔 距离 为 a 的 平行 线 , 向 此 
平面 上 随意 地 投 一 根 长 度 为 WE<a7 的 针 , 求 此 针 与 任 -平行 线 相 
变 的 概率 . 
解 ”以 表示 针 的 中 点 到 最 近 一 条 平行 线 的 距离 ,¥ 表 示 针 
与 平行 线 的 夹 角 . 针 与 平行 线 的 关系 由 图 1. 1(a) 所 示 . 则 样本 空 


同 8-{(r,D10Sr 人 e509". 针 与 平行 线 相交 的 条 件 为 


z 世 sing, 满 足 此 条 件 的 区 域 记 为 4, 在 图 1. 1(b) 中 用 阴影 部 分 


膨 


表示 出 . 这 是 -- 个 几何 概率 模型 


和 4 的 面积 3) inp dy _2 
衣 的 面积“ Far Xa 
将 上 式 恋 形 后 有 7 一 21/ (aPC(A)). 薄 丰 (Buffon) 作 了 大 量 投 针 试 
验 , 用 频率 代替 概率 来 近似 计算 r 的 值 . 这 是 随机 模拟 的 雏形 . 

例 1.4.3 贝 特 朗 奇 论 (Bertrand paradox) 在 半径 为 1 的 
图 内 随机 地 取 一 茶 弦 , 问 其 长 赵 过 圆 内 嫌 等 边 三 角形 边 长 的 概率 
为 多 消 ? 

这 问题 有 许多 不 同 的 解 , 下 面 列 出 其 中 二 种 ， 

解 1 任何 芒 交 圆周 两 点 . 不 失 一 般 性 , 先 固定 其 中 一 点 , 则 


弦 的 男 一 端 只 有 位 于 此 图 定点 正 对 的 方圆 周 长 的 弧 内 才 满 足 要 


PA)= 


求 , 故 所 求 概率 为 二 ( 见 图 1. 2Ca)). 
解 2 弦 长 只 与 它 全 圆心 的 距离 有 关 . 因此 满足 要 求 的 纺 种 
与 之 垂直 的 直径 的 交点 到 圆心 的 距离 必须 大 主 坊 ,而 直径 长 为 2 


故 所 求 概 率 为 却 ( 见 图 1. 2(b) )， 
解 3 弦 的 中 心 点 必须 位 于 半径 为 却 的 问心 圆 之 内 才 满 足 要 
求 . 而 此 圆 面积 为 大 圈 面 积 的 填 , 故 所 求 概率 为 二 ( 见 图 1. 2(e). 


"1 * 


为 什么 对 “同一 个 ”问题 会 产生 出 二 种 各 上 自 有 理 而 又 互 不 相同 
的 解答 呢 ? 这 里 面 的 关键 问题 在 于 例 1. 4. 3 中 所 说 的 “随机 地 取 一 
条 疲 " 一 名 话 中 随机 ?一 字 的 含义 不 明确 , 而 上 述 三 个 答案 各 自 
给 出 了 特定 的 随机 性 解释 . 因此 在 各 自 的 “随机 ”的 概念 下 ,二 个 解 
答 都 是 正确 的 . 


2 条 件 概率 与 事件 的 独立 性 
2.1 条件 概率 


2.1.1 条 件 械 率 的 定义 


定 巡 3241 设 4, 呈 为 事件 且 已 (8 0, 称 天 (4 日 ) = 
PLAB)/P(B) 为 在 事件 8 已 发 生 的 条 件 下 .事件 4 发 生 的 亲 件 概 
率 (conditional probability}). 

简称 PtA1B) 为 给 定 BB 时 4 发生 的 条 件 概 率 . 

条 件 概率 的 概念 是 基于 一 种 缩小 样本 空间 的 思 组 : 即 已 知 品 
发 生 , 则 只 考虑 属于 B 的 那些 祥 本 点 .这 由 (B81B) 二 1 及 当 4B 
二 作 时 ,P(A18) 二 0 可 以 看 出 , 另 一 方面 当 B 已 发 生 时 则 4 也 
发 生意 味 着 4 与 8 同时 发 生 , 因 此 P(A418) 与 Pt4B) 成 正比 , 南 
比例 调子 为 1/PtB). 

下 面 用 条 件 频率 和 古典 条 件 概率 为 例 来 解释 条 件 慨 率 的 


概念 . 
设 4, 五 为 随机 试验 E 所 产生 的 两 个 捉 件 , 将 EE 重复 且 互 不 
影响 地 作 有 次 ,用 ms 和 ms 分 别 记 4,B 发 生 的 次 数 ,f4,fs 分 别 
为 A,B 发 生 的 频率 . 则 一 :而 .fas 二 tas/n; 其 中 mas 和 和 fang 
分 别 为 事件 48 发 生 的 次 数 和 频率 . 由 经 验 大 数 定律 ( 见 1. 2. 1) 
可 以 近似 地 用 ani fa—map/ ma 去 通 近 PA 18). 市 ap/ ma 是 在 
只 考虑 于 发 生 的 那些 试验 中 4 发 生 的 频率 . 

再 考虑 古典 概率 模型 .用 N ,Ns 和 was 分 别 记 样本 点 总 数 , 瑟 
中 样本 点 数 和 4B 中 样本 点 数 . 则 对 古典 概率 模型 有 


a 名 。 


P(AIBY = PCABYP(B) = N= Nap/ N's, 


帮 PCA1 妃 定 关 了 在 纠 小 的 样本 空间 BB 上 的 古典 概率 . 
2.1.2 条 忻 概 率 的 性 质 


如 上 节 所 述 , 条 件 概率 实质 上 是 在 缩小 的 样本 空 杀 上 的 概率 

分 布 : 叶 一 方面 , 它 在 形式 上 仍然 在 原来 的 样本 空间 上 定义 了 一 个 
概率 分 布 : 

C1) 0 PCAIB)SELl, | 

C2) PCNIB)=1,P(Y|B)=0. | 

(3) 若 414 二 B@; 则 PCA1 十 811B) 二 POA | 互 ) 十 已 (4 | 吾 ).， 

(2. 1) 


等 /各 


飞 法 公式 : 

(1) PC4aB) 一 PCB)P(4| 互 ). 

(2 PA A A) = PLAVPCA ADP A | A A (02.2) 
POA IA A A,, ] 

定理 2.1.2 全 概率 公式 设 人 


一 


4 一 上 ;日 PC4)>0;7==1,…,n, 则 对 任 一 上 事件 4 有 


P(A) = SI PAVPCA|A,). 
例 2.1.3 从 一 个 含有 N 个 个 体 的 总 体 中 进行 无 放 回 抽样 . 
设 4,6 为 两 个 个 体 , 风 不 论 二 多 少 次 ,第 -次 抽 到 。 且 第 二 次 拍 到 
5 的 概率 为 rec 寺 一 1- 这 是 因为 :第 一 次 抽 到 a 的 概率 为 方 ,而 在 


此 条 件 下 ,第 二 次 抽 到 情 的 概率 为 六 (因为 只 能 在 除 a 以 外 的 


N 一 1 个 个 体 中 抽取 ). 因此 用 乘法 公 趟 (2 2) 即 得 结论 ， 
例 2.1.4 从 一 个 总 体 避 (例如 一 群 人 人 ) 中 随机 抽取 一 个 具有 
"19. 


某 种 特征 的 个 体 ( 例 如 左 撤 子 ), 可 以 采用 分 层 抽样 的 方法 :将 此 总 
体 分 成 若干 互 不 相交 的 子 体 ( 例 如 按 民族 区 分 ), 分 别 记 为 21,0;， 
2 先 以 一 定 的 概率 分 布 从 这 些 子 体 中 进行 抽取 , 记 抽 到 吕 


的 骤 率 为 pw 一 1,… ,m32p 一 1. 再 从 抽 到 的 于 体 中 依 一 定 的 
概率 分 布 抽样. 设 从 0 中 抽 到 具有 指定 桩 征 的 个 体 的 概率 为 4.， 


i 二 1,-… 则 由 全 概率 公式 2. 1.2 知 ,总 的 概率 为 一 > pg 


例 2.1.5 波 利 亚 (Polya} 护 子 模型 ” 设 一 个 镶 子 中 有 4 个 
黑 球 ,6 个 红 球 . 现 从 中 进行 有 放 回 抽样 . 每 当 抽 出 一 a 
钠 中 再 放 进 c 个 同 颜 色 的 球 , 这 样 反复 抽取 次. 容易 由 乘法 公 
算出 ,不论 抽 出 球 的 顺序 如 何 , 抽 到 mx 个 黑 球 ,n 一 m 个 时 于 的 
率 为 
P=atat ofa 2a + tm De br tht ee + 2c) 

Bm tat olat+ hia e+ 2e) 

‘tea 十 站 十 《a 一 1)e)] 


这 个 模型 是 首先 由 波 利 亚 (Polya) 提 出 , 它 已 作为 研究 传染 病 
现象 的 一 个 简化 模型 . 

例 2.1.6 设 2 个 人 以 六 张 签 中 依次 随意 抽 一 张 , 则 容易 由 
乘法 公式 算出 ,每 个 人 抽 到 某 张 指定 签 的 概率 为 1/N, 这 结论 称 
为 抽签 原理 ， 

2.1.3 贝 叶 斯 公式 

定理 2.1.7 贝 叶 斯 人 (Bayes) 公 起 设 有 4,B1,…,B, 为 一 些 事 
件 ,P(A) 半 0,Bi, 呈 ,B, 王 不 相交 ,PP(B,) 壮 0.7 二 11,",n, 且 
DPB,) 一 1 刚 对 下 = 二] yr ns 


站 


PBIPCAB, 
PBA) = EO ME 


SPCBIPCAB,) 


山上 时 斯 公式 容易 由 条 件 概率 的 定义 ,乘法 公式 和 全 概率 公式 
得 到 . 在 贝 吁 斯 公式 中 ,P(B0,i 一 1,…,# 称 为 先 验 概率 .而 
PB 4) 4 二 1,… sn 称 为 后 验 概率 . 贝 叶 斯 公式 的 合 义 可 解释 如 
下 :B10BooB, 为 nn 个 扎 不 相 容 的 原因”, 而 4 为 某 种 "结果 ” 
在 实际 问题 中 ,“ 原 因 ” 发 生 的 概率 (PCB,)) 和 已 知 由 某 种 “原因 ” 
产生 结果 的 概 妾 CPCA|Bi))) 都 古 可 以 事先 估计 的 , 则 我 们 可 以 用 
中叶 斯 公式 反 过 来 计算 已 知 * 结 果 ” 而 它 是 某 个 “原因 "产生 的 条 件 
概率 PCB;| 2370. 当 某 个 PCBi| 丰 比较 太 时 ; 则 一 观察 到 4 就 首 
先 考虑 是 否 由 B 引起 的 ; 男 一 方面 ;即使 PCBi|A4) 的 值 不 大 ,但 
它 与 PCB0) 相 比 却 大 大 增加 了 ,这 现象 说 明 B, 与 4 有 很 紧密 的 联 
系 , 因 而 须 加 以 充分 的 重视 ， 

例 2.1.8 用 血清 申 胎 蛋白 法 诊断 肝癌 具有 如 于 效果 :对 肝 
癌 上 患者 检验 阳性 反应 达 95 听 ,而 对 非 蛙 癌 患 消 检 验 也 有 1% 的 阳 
性 反应 , 义 根据 统计 资料 得 知人 和 群 中 肝癌 的 发 病 率 为 万 分 之 四 . 现 
用 此 方法 诊断 某 病人 ,检验 结果 为 阳性 , 问 此 人 确实 患 肝 瘤 的 概率 
为 多 大 ? 

这 是 一 个 求 条 件 概 率 的 问题 ,用 4 记事 件 “ 化 验 呈 阳性 ”,B 
记 专 件 “ 病 人 因 肝 瘤 ”, 要 求 PCB|4). 由 题 意 知己 (4 | 再) 一 0. 95， 
PtA|1B) 一 0.01,PCB) 一 0.0004, 用 贝 时 斯 公式 求 得 


PCBYP(AIB) 
PIOBYPEATB} + PIUB}YPCALB) 


PitBIA) = = 0. 037, 


可 见 ,化 验 圣 阳性 而 实际 患 肝 冶 的 概率 并 不 高 . 要 提高 此 化 验 
法 的 准确 性 关键 是 要 降低 P(A1B}. 尽管 如 此 , 既 检验 反应 旺 阳 性 
时 .病人 患 肝 准 的 机 会 比 未 检验 前 提高 了 近 100 倍 . 
* 9] 。 


1 
1 


2.2 事件 的 独立 性 


定义 2.2.1 设 A,8 为 两 个 事件 ,满足 
POAB) = P(A) » P(B), 
则 称 事 件 4 与 事件 B 相互 独立 (mutually independent), 简 称 事 
件 和 4 与 至 独立 ， 
引 理 2.2.2 (1) 若 PC4)=0 或 1, 则 4 与 任 一 事件 独立 ， 
(2) 车站 与 独立 且 PCB)>0, 则 
P(AIB) = P(A). 
(3) 车 4 与 8 独立 , 则 A 与 吾 ,A 与 8B,4 与 BB 都 是 相互 独立 
的 事件 对 . 
定义 2.2.3 设 4,4:，,…,4, 为 2 个 事件 ,满足 下 述 条 件 ， 
PiAAN=PCAIP(A), lSEi<Ijn, 
POAAADS— PIAIPIADPAD), li<Ij<kEn, 


则 称 事件 4, ,4:,…，4, 相互 独立 

在 定义 2. 2. 3 中 共有 | 吕 十 [如 十 … 十 {二 2 一 一 1 个 约 
束 条 件 ,定义 了 个 事件 相互 独立 的 条 件 . 

推论 2. 2.4 车 个 溃 件 相互 独立 ; 则 对 mm 过 n ,其 中 任意 汉 
个 事件 也 是 相互 独立 的 . 

推论 2. 2.4 的 逆 命 题 不 成 立 . 

例 2.2.5 设 有 4 张 卡片 ,其 中 3 张 上 分 别 记 有 字母 4 和 和 8B8， 
五 和 CC 及 4 和 C, 第 4 张 卡片 是 空白 的 . 从 中 随机 地 抽 一 张 ,就 用 
4,( 互 和 C) 分 别 记事 件 * 抽 到 的 卡片 上 有 字母 4, (8 和 C)” 则 显 
然 有 

* OP, 


PPA) 一 中 有) 一 CC) 一 三 


PLAB) = P(ACY = PUBC) = i 


但 PCABC})==0. 央 此 有 ,8,C 三 个 事件 中 任意 两 个 相 瑟 独立 ,但 
这 三 个 事件 并 不 相互 独立 . 

推论 2.2.6 设 个 事件 相互 独立 , 则 对 0 所 mw 所 x, 其 中 任意 
m 个 事件 与 其 余 一 m 个 事件 的 对 立 事件 构成 训 个 相互 独立 的 
事件 . 

在 实际 问题 中 ,判断 事件 是 否 独立 ,不 能 仅 从 数学 定义 出 发 . 
而 要 根据 问题 的 实际 的 背景 来 判断 . 例如 在 一 电路 中 有 若 于 元 件 ， 
每 个 元 件 都 有 可 能 损坏 ,因而 有 相应 的 失效 概率 . 如 果 元 件 失效 与 
否 并 不 互相 影响 , 则 可 以 认为 这 些 元 件 失 效 与 否 是 相互 独立 的 . 

事实 上 在 实际 问题 中 ,事件 的 独立 性 来 源 于 试验 的 独立 性 ( 风 
2. 3). 


2.3 试验 的 独立 性 


定 久 2.3.1 设 包 BoE 为 nn 个 随机 试验 且 假 定 每 个 试 

和 : 生 的 可 能 缚 果 及 结果 的 概率 不 受 其 它 试验 结果 的 影响 , 则 称 
这 个 试验 是 相互 独立 的 试验 . 

直观 地 讲 ,因为 这 ?个 试验 是 相互 独立 的 , 则 设 A, 为 由 已 产 
生 的 事件 ,一 1 yA 和 A 4. 即 为 相 瑟 独立 的 事件 . 这 里 要 
回答 一 个 疑问 , 即 41,…,A, 是 属于 由 不 同 试验 产生 的 样本 空间 . 
而 我 们 在 第 1. 1 节 中 强调 过 , 当 讨论 事件 之 间 的 关系 时 总 是 考虑 
在 同一 样本 空间 上 的 事件 , 这 个 矛盾 如 何 解决 ”要 解答 这 个 疑问 ， 
就 要 引进 复合 试验 的 概念 . 

定 双 2.3.2 设 随 机 试验 五 是 由 ?个 试验 Ei ,Eo ,E, 按 顺 

= 人 3 > 


序 进 行 所 构成 的 , 则 称 下 是 由 五, 尼 ,,, 瑟 ,复合 而 成 , 记 为 五 一 
EX XB. 记 0 为 由 EE 生成 的 样本 空间 ,i 一 1,… sn; 则 玉 
的 样本 空间 人 0 一 0 XX… XX,, 如 中 的 样本 点 ww 可 表 为 n 光 组 
Cw son 其 中 心 为 岂 中 的 样本 点 . 己 称 为 乘积 样本 空间 . 

有 了 试验 的 复合 与 胸 积 样本 空间 的 概念 之 后 ,对 五 产生 的 任 
一 事件 4; 便 可 从 两 个 等 价 的 角度 去 理解 . 当 我 们 只 考虑 试验 羽 
及 其 结果 时 ,就 把 A; 仅 看 成 是 六 的 子 集 并 计算 其 概率 . 当 考 虑 复 
合 试验 E 一 时 ,4, 便 被 看 作 是 2 中 的 子 集 ,其 元 素 为 {Co， 
天 让 .通常 把 A; 这 样 的 事件 称 为 只 
中 的 柱 形 集 . 

这 样 , 当 我 们 说 由 玉 产生 的 事件 4;,i 二 1,…,n 是 相互 独立 
时 ,我 们 是 把 4, ,4,,…,4, 看 成 乘积 祥 本 空间 内 上 的 子 集 . 

定义 2.3.3 设 巨 为 一 随机 试验 ,将 E 独立 地 重复 次 得 到 
的 复合 试验 便 称 为 n 重 试 验 . 

定 关 2.3.4 人 怕 努 和 试验 (Bernowlli triais) 设 随 机 试验 五 
只 产生 两 个 对 立 的 结果 ,分 别称 为 "成功 ?与 “失败 ”, 记 户 为 “成 
功 ” 的 概率 , 则 上 E 称 为 “成 功 ” 概 率 为 p 的 伯 努 利 试验 . 车 将 此 试验 
独立 地 重复 进行 上 次 , 便 称 为 上 重 伯 努 利 试验 ， 

例 2.3.5 设 从 一 批 产 品 中 检验 次 品 ,在 其 中 进行 有 放 回 抽 
样 次 , 抽 到 次 品 称 为 “成 功 ”, 抽 到 正 晶 称 为 “失败 ”, 这 就 是 ” 重 
伯 努 利 试验 . 

例 2.3.6 设 # 个 灯泡 是 从 -大批 好 泡 中 随机 抽出 来 的 ,又 
假定 每 个 灯泡 可 以 点 燃 一 干 小 时 以 上 的 概率 是 相同 的 , 记 为 p. 将 
这 个 灯泡 进行 编号 ;然后 同时 点 燃 . 对 每 个 灯泡 来 说 ,点 的 一 干 
小 时 以上 称 为 “成 功 ”; 否 则 称 为 "失败 ”, 这 也 是 一 个 n 重 伯 努 利 
试验 . 

在 一 个 “成 功 ”概率 为 p 的 4 重 伯 努 利 试验 中 ,有 上 次 “成 功 ” 

?4 和 


(一 下 演 “ 朱 败 汪 的 概率 为 
Pi = (2) pO — py 一 01 (2. 3) 
显然 人 二 01 构成 一 个 二 项 概率 分 布 ( 见 1. 3. 6). 
公式 (2.3) 是 这 样 得 到 的 :利用 试验 之 间 的 独立 性 可 知 ,一 个 
包含 户 深 “成 功 ”,n 一 关 深 * 失 牙 ”" 的 试验 辣 果 序列 发 生 的 概率 为 
p*(1 一 p)”“*, 而 这 样 的 试验 结果 序列 有 |[ 中) 个 ， 
在 nn 重 伯 和 努 利 试 验 中 试验 次 数 是 于 先 给 定 的 . 另 一 种 进行 
伯 和 努 利 试 验 的 方法 是 ; 木 固 定 试验 次 数 n, 当 试验 进行 到 出 现 一 次 
“成 功 ” 时 便 停止 , 记 Pi 为 在 第 站 次 出 现 首 次 “成 功 ” 的 概率 ,有 
P= (tl— py ip k= 1.2,*, 《2. 4) 
1 一 12) 梅 成 一 个 几何 分 布 ( 见 6. 1. 3) 
如 果 将 伯 努 利 试验 序列 进行 到 出 现 > 次 "成 功 ” 便 结束 , 记 已 
为 当 进 行 到 第 下 次 试验 时 出 现 第 -次 “成 功 " 的 概率 , 则 
P= (4 一 条 产 G 一 坊 ) 关 ”下 一 rr 十 1 (2.5) 


{Pi 上 上 二 zr 十 1 一} 构成 一 个 帕斯卡 (Pascal) 分 布 ( 见 
6. 1. 10). 


* PO" 


3 随机 变量 及 其 分 布 
3.1 随机 变量 与 随机 向 量 


3.1.1 随机 变量 的 定义 


定义 3.1.1 设 吕 为 某 -一 试验 产生 的 样本 空间 ,大 为 定义 在 
2 上 的 实 函 数 , 即 对 任 一 样本 虚 wEDN,XCw) 为 -实数 , 则 称 卫 为 
一 个 随机 恋 量 (random variable}. 

注 ”严格 来 说 ,XX 应 为 可 测 函 数 ( 见 定义 7. 2.4) ,因此 上 述 定 
光 从 数学 的 角度 看 不 够 严格 ,但 对 实际 应 用 不 会 产生 什么 大 的 
有 影响 . 

对 随机 试验 所 产生 的 结果 (样本 点 ), 人们 通常 所 关 心 的 是 与 
之 有 关 的 一 个 数量 指标 , 例如 ,从 一 批 产 品 中 抽出 个 样品 ,统计 
其 中 次 品 的 个 数 X; 从 “ 批 灯 泡 中 抽出 一 个 灯泡 ,检测 它 的 寿命 
7Y; 从 一 群 几 章 中 抽出 一 个 ,化 验 他 (她 ) 的 血色 素 Z, 等 等 , 由 于 坛 
验 的 结果 是 随机 的 ,因而 与 之 相关 联 的 数量 指标 ( 呈 ,Y,Z, 等 ) 的 
取 值 也 是 随机 的 ,这 些 数量 指标 就 是 随机 变量 . 

由 于 随机 窜 基 的 取 值 是 随机 的 ,所 以 我 们 关心 基 取 某 值 或 在 
某 个 范围 内 取 值 的 概率 吓 多 少 . 

定义 3.1.2 设 P 为 样本 空间 上 的 ~ 个 慨 率 分 布 ,区 为 人 n 
上 的 一 个 随机 变量 ,对 任 一 实数 集合 4, 定义 

PAXE AY= Pwlw EE NX E A})), 

称 为 随机 变量 关 属 于 和 集合 4 的 概率 ， 1 

注 严格 来 说 ,上 述 定义 中 的 集合 入 应 为 可 测 集 ( 凯 7.1.5). 
但 因 常 见 的 集合 大 都 是 可 测 集 , 因 此 这 样 的 定义 并 不 妨碍 我 们 

。26 。 


使 用 . 

定义 3.].2 中 等 式 的 含义 是 :所 件 * 久 EA4" 的 概率 由 样本 空间 
人 2 上 一 个 事件 的 概率 来 确定 ,这 事件 是 由 所 有 满足 XX(w)E4 的 
样本 点 构成 . 1 

例 3.1.3 将 一 核 均 习 的 硬币 捕 二 次 ,每 次 记 下 花 面 向 上 
(如) 或 字面 向 上 (WD , 则 样本 点 为 由 恕 入 组 成 的 -- 个 元 排 
列 . 记 文 为 正面 向 上 的 次 数 (X(%) 二 “w 中 厂 的 个 数 ). 则 XX 
为 随 宙 变 量 . P(X=&)= 二 PCiw:X(w) =&)) = |)27",k=0,1, 
2 -sa 


3.1.2 随机 变量 的 类 型 


常用 的 随机 变量 按 其 取 可 能 值 的 情况 分 成 三 类 . 

定义 3.1.4 若 随 机 变量 忒 只 可 能 在 有 限 或 可 列 无 穷 多 个 
和 实数) 点 上 取 值 , 刚 称 X 为 离散 型 随机 变量 . 

记 互 的 所 有 可 能 佳 胃 fs: 虹 一 1 2 记 轴 一 下 (和 一 or) 
二 二 12: 网 {Crss pi) 让 二 1,2,…) ; 称 为 下 的 分 布 列 . 

分 布 列 决 定 了 离散 型 随机 变 苦 的 概率 分 布 . 在 实用 中 常用 下 
述 三 种 方式 表示 分 布 询 . 

(1) 公式 法 分 布 纪 用 公式 表示 ,例如 

POX = k) = p= Ee 二 9120 为 正常 数 . 


其 中 pi 二 /RY ,二 1 .2 
(2) 列表 法 ”和 将 分 布 列 用 表格 方式 表示 .例如 


(3) 图 示 法 ”将 随机 变量 的 可 能 信和 标示 在 模 坐 标 轴 上 ,用 生 
a 中 了 = 


直线 表示 取 该 可 能 值 的 概率 . 例如 上 面 分 布 列 可 如 图 3. 1 所 示 . 


分 布 列 具有 下 述 性 质 . 
推论 本 I. 5 设 1reyp 关 7) 一 1 2 为 随机 变量 的 分 布 列 ， 
则 有 pr 人 O01 下 二 1 :2,3*"… ,有 日 > ps 一 1， 


定义 3.1.6 设 随 宙 变量 关 在 一 个 或 多 个 非 退 化 的 实数 区 间 
上 可 以 连续 取 值 , 且 存 在 一 个 非 负 的 实 函 数 f(x) ,使 得 对 任 一 区 
间 (e, 纺 ,有 Ptz e (a1b)) 一 | f(z)dz , 则 称 X 为 连续 型 随机 变 
量 , f(z) 称 为 区 的 概率 密度 函数 (probability density function)， 
简称 为 密度 . 

如 同 分 布 列 决定 了 高 散 型 随机 变量 的 概率 分 布 一 样 ,密度 决 
定 了 连续 型 随机 变量 的 概率 分 布 . 

推论 3.1.7 设 f(x) 为 随机 变节 的 概率 密度 函数 , 则 有 (x) 
>0,8[ fdr=1. 

密度 A(x) 的 表示 方法 有 两 种 :解析 表示 法 和 图 示 法 . 

例 3.1.8 设 随机 变量 大 有 密度 

0， 当 >< 0， 
f(z) = 人 。 当 。 全 0 》 为 正常 数 . 

容易 验证 fx) 满足 推论 3.1. 7 中 的 结论 ,其 图 形 如 图 3. 2. 

图 中 曲线 为 密度 Fx) 的 图 形 , 阴 影 中 的 面积 表示 

卫生 "| 


败 3.2 


PX E (a,b)). 

除了 上 上述 两 大 类 随机 变量 之 外 ,有 时 (特别 在 可 靠 性 统计 中 ， 
会 遇 到 - -种 混 人 台 型 随机 变量 . 即 随机 变量 在 某 些 离散 点 上 取 大 于 
零 的 慨 率 ,而 在 其 它 地 方 的 概率 可 由 积分 表示 . 

例 3.19 设 灯 泡 寿 命 有 密度 At 一 ae ,0<t ,和 作 试 验 如 下 : 
从 一 批 灯 郊 中 捧 一 个 点 燃 , 当 其 寿命 在 1000 小 时 以 内 时 , 记 关 一 
灯泡 寿命 , 当 其 寿命 超过 1000 小 时 后 , 记 z= 二 1000. 于 是 x 即 为 一 
个 混合 型 随机 变量 , 它 在 (0,1000) 上 有 密度 fC) =e 而 在 1000 
上 有 概率 1 一 | ea = eI 

离散 型 随机 变量 与 连续 型 随机 变量 在 数学 性 质 上 有 很 大 的 芝 
别 ,但 让 实际 使 用 时 不 可 绝对 化 . 设 某 个 离散 型 随机 变量 在 一 个 区 
间 内 窗 集 地 取 值 ,可 以 近似 地 看 成 在 此 区 间 内 连续 取 值 ,因此 可 以 
用 一 个 连续 型 随机 变量 来 近似 地 刻 划 它 . 反之 若 某 个 连续 型 随机 
变 盘 在 :个 区 间 上 连续 取 值 (在 此 区 间 上 密度 大 于 0) ,可 以 将 此 
区 间 划 分 成 若干 子 区 间 , 在 每 个 子 区 间 于 取 一 个 值 ( 辟 如 说 于 区 间 
的 中 点 ) 作 为 代表 ,用 这 个 子 区 间 上 的 概率 表示 这 个 代表 值 的 概 
率 . 用 这 样 一 个 离散 分 布 去 近似 原来 的 连续 分 布 ， 


3.1.3 随机 向 量 


定义 3.1.10 设 在 同一 样本 空间 只 上 定 文 的 = 个 随机 变量 
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构成 一 个 向 量 天 一 (和 称 三 为 一 个 二 维 随机 
向 量 in-dimensional random vector) ,其 中 三 称 为 下 的 第 :个 从 
量 (component). 

在 一 个 试验 中 ,人们 有 时 关心 的 是 多 个 数量 指标 以 及 其 间 移 
美 系 .例如 ,从 一 群 同 年 龄 的 儿童 中 抽出 一 个 ,测量 他 {她} 的 身高 ， 
体重 和 血色 素 这 三 个 数量 指标 , 便 得 到 “个 三 维 随机 向 量 . 这 里 我 
们 要 特别 强调 ,所 说 的 随机 向 量 中 的 各 个 分 量 必须 是 同一 祥 本 空 
间 避 上 的 随机 变量 . 

# 维 随 机 向 基业 的 可 能 值 是 任 一 天 元 实数 组 T= ri, 
Xz). 在 上 述 例 中 假定 ,二 身高 Ccm) ,六 ,二 体重 (Kg) ,XX, 二 血色 素 
(g); 则 革 二 0115,;20,14) 表 示 所 抽 测 儿童 的 身高 为 ll5em, 体 重 
20kg ;血色 素 14g. 

定义 3.1.11 设 天 为 中 上 的 一 个 = 维 随机 向 量 , 对 =” 维 实 空 
间 R" 上 的 任 一 集合 4 ,定义 

PIXE A)= Pl{lw|X(w) € A}), 

称 为 也 属于 4 的 概率 . 

对 有 维 随机 向 量 , 有 时 只 考虑 它 的 一 个 或 几 个 分 量 的 取 和 值 情 
滴 ， ee 例如 {XEL0;,1j}={(x， 

[01 xR' i 一 2,… 这样 的 集合 称 为 柱 形 集 . 

离散 型 = 人 大 吕 生 最 交 每 人 分 置 部 是 衣 型 随机 灾 量 

定义 3.1.12 设 于 一 (XXX) 为 离散 型 维 随机 向 量 , 记 
Xi 的 取 值 范围 为 (zi yz， 记 

Bijin — PXI = Xj Rs = Aaj ss = To )s 

则 {Cea | 下 的 分 布 列 ， 

二 维 离散 型 随机 向 量 的 分 布 列 可 用 列表 的 方式 表达 . 设 
( 蕊 ,Y) 为 二 维 随机 向 量 ,X 的 取 值 范围 为 (rz vzr 7 的 取 
值 范围 为 (yo 记 pi 二 了 P(X 二 zn 了 二 yj), 则 可 列表 如 
表 3. 1. 
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在 表 3,1 中 ,中 同 列 出 户 ,一 疡 (和 一 必 , 了 一 人 ,下面 一 行 和 右 
按 一 列 分 别 为 每 … 列 或 每 一 行 概率 的 求 和 , 另 有 含 尽 ( 见 3.2)， 

定 兴 3.113 设 n 维 随机 向 量 针 可 在 R" 中 的 一 个 区 域内 连 
续 皮 值 且 存 在 刘 元 实 函 数 fr + ,x R” 中 任 一 区 域 A 有 

Pex 七 A 一 [fe sr dr dA 

则 称 卫 为 连续 型 随机 向 量 , 称 /Cx ,zx,) 为 n 元 概率 密度 函数 ， 
简称 为 n 元 密度 . | 

推论 33.114 设 六 (ri,… ,i) 为 n 元 密度 , 则 

C1) fr sr 0s 

(2) | | re ,rdzivesdzs = 1. 

混合 型 随机 向 量 也 会 在 实际 中 遇 色 , 它 是 指 随机 向 量 的 某 些 
分 址 是 离散 型 的 ,而 另 一 些 是 连续 型 的 ,或 某 些 分 基本 身 是 混合 
型 的 ， 


“31. 


3. 2 ”分 布防 数 


3.2.1 一 元 分 布 函数 


定义 3.2.1 设 和 为 一 随机 变量 ,对 于 实 函数 娘 (z): 
F(Ar} = P(XET)= P(XEC— oorh. 
称 为 随机 变量 X 的 分 布 锐 数 (distiribution function) ,又 称 为 概率 
累积 函数 (probability cumulative function). 
分 布 函数 有 如 下 的 性 质 . 
性 质 3.2.2 {1) 0<SR(Czr) 安 1; 
(2) 单调 性 
F(T)EF(ty) ,XYy; 
(3) 右 连 续 性 
F(z)= lim Fy) =F(r): 
‘和 4) Fo0) = lim FO) =0P (+0) = li POY 1 
(5) P(rTREY) FY FA ry 
(6) P(X=z)—F(r) mF 二)= F(t) lim Fiy)., 


分 布 函数 的 上 述 性 质 可 以 利用 概率 的 性 质 加 以 验证 . 由 性 质 
(5) 和 (6) 可 以 知道 ,随机 变量 X 在 任 一 区 间 上 约 概 率 可 由 分 布 函 
数 的 什 ( 或 极限 值 } 表 示 . 例如 ， 
Pt 二 大 过 站 一 下 一 天 Ca 十 ) 
Plrx < RR)=1— Fx) 
由 此 可 知 ,假定 一 个 实数 集 4 是 由 一 些 区 间 经 过 有 限 次 或 可 列 无 
穷 多 次 的 集合 运算 (并 ,交差 等 ) 得 到 的 , 则 P(XE 及 ) 可 由 分 布 咕 
数 F(z) 的 值 或 极限 值 表示 ,因此 分 布 函 数 唯 … 地 确定 了 随机 变革 
的 概率 分 布 . 
设 X 为 离散 型 随机 变 生 ,有 分 布 列 {Czsyze? 一 1,2，…) 则 
看 32 站 


{3. 1) 


它 的 分 布 前 数 可 表 为 
Fl(r)= Yip,, {3.2) 


其 图 形 为 一 个 阶梯 形 函 数 ,如 图 3. 3. 图 3. 1 为 离散 形 随 机 变量 的 
分 布 函数 . 


图 中 黑鱼 水 平 线 表示 分 布 函 数 Cx). 
设 为 连续 型 随机 变量 ,有 密度 F(x), 则 其 分 布 函 数 F(x》 
可 表示 为 | 


Fr) 一 上 reoar (3.3) 
由 积分 的 连续 性 可 知 如 上 推论 . 
推论 3. 2. 3 连续 型 随机 变量 民 的 分 布 图 数 FCr) 为 连续 晴 

数 , 且 对 任意 实数 x ,P(X 二 7x) 二 0. 

分 布 国 数 已 (zx 与 密度 Ar) 还 有 下 述 关系 . 
定理 3.2.4 设 f(x) 为 密度 ,F(x) 为 相应 的 分 布 函 数 , 则 
(1) FF ~ Fla) 一 | copadr 
(2) 车 Fr) 在 rm 点 连续 , 则 

Crzo) = (zs 

中 33 日 


3.2.2 名 元 分 布 函 数 


定义 3.2.5 设 厂 = (CX, 站,,-…,X,) 为 x 维 随机 向 基 , 对 任 一 
nn 元 实数 组 X= 二 (x yor) ， 

机 【19 二 PR, RT Ks To, ET) 

= PUXI EC— ox 
人 门人。 全 【一 oo x]}), 

则 下 (zz myz) 称 为 随机 向 量 三 的 联合 分 布 网 数 (joint 
distribution function),， 又 称 为 关 元 分 布 范 数 (n-dimensional 
distribution function), 

性 质 3. 2.6 多 元 分 布 函 数 有 下 列 的 性 质 

(1) OF (Cr To El; 

(2) 单调 性 

当 Tl 
下 (CT Te a) FO Tt YT A ) 

(3) 右 连续 性 

lim FO Ti Yr) = FR ss ts )s 

CA FOR — Te 

一 lim Fx Ti 

下 (十 co， 十 co) 一 Hm Fir yt) 一 1s 


i 
Te ] ve 


【57) Prla < 大 < bi,das < 区 < 吾 : tin < 六 。 < ) 
= Fb ba 一 > 天 人 Bets br sb,) 
了 一 


十 >) Feph, Ci ,Db res Dir) Lj “1 shir Ld :6b.) 


一 二 【一 1 28Ceai sp” + ), 
由 性 质 (5) 易 见 ,n 维 随机 向 量 的 概率 分 布 由 其 (联合 ?分 布 范 
34 。 


数 唯一 确定 ， 

离散 型 随机 向 量 的 分 布 函数 可 由 其 分 布 列 来 表示 ,例如 设 
《X 7) 为 一 维 向 址 ,其 分 布 列 汶 16rp 一 1 27 一 1,2， 
…}》, 则 


Flr,y) 一 > pi (3. 4) 


连续 型 随机 向 量 的 分 布 函 数 廊 (xi,，… ,zx,) 可 由 其 密度 活 数 的 
积分 得 到 : 


Rao 9.) 


推论 3.2.7 设 了 Cr 为 n 元 密 放 ,下 (zl zo) 为 相 
应 的 » 元 分 布 函 数 , 则 
1) Pla, < Xb yn) 


一 上 =| fn ty, dx “dz, ; 
(2) 在 /Cri,… yr,) 的 连续 点 上 有 


oF 
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3,.2.3 边缘 分 布 


定义 3.2.8 设 瑟 一 (XXX 为 呈 维 随机 向 量 , 它 的 任意 到 
个 分 量 i) 构成 一 个 
上 维 随机 向 基 CX, ,和 ,XX,,) ,其 概率 分 布 称 为 的 一 个 边缘 分 
布 ,其 分 布 函数 F(x ,7,) 称 为 边 绿 分 布 镜 数 Cmarginal 
distribution). 

推论 3.2.9 设 下 (zyzo) 为 二 元 分 布 国 数 , 则 它 的 边缘 分 
布 函数 为 

Por 一 lim FTATor to), 


. 工 
了 mr 


边缘 分 布 函数 FF, ,Cz zz) 是 一 个 不 元 分 布 函数 ， 

网 而 具有 多 元 分 有 有 光 烧 的 性 扶 (3 2. 6) 个 ”元 分 布 函数 可 以 产 
生 [ 下 十 [到 十 …… 十 | 下 一 交 一 2 个 边缘 分 布 函 数 . 

对 离散 型 的 有 维 随机 向 量 , 其 任意 久 个 分 其 的 边缘 分 布 列 可 

以 由 固定 相应 的 下 标 而 对 其 余 的 下 标 求 和 来 得 到 . 例如 对 二 元 随 

机 向 莉 ( 及 ,YY), 设 其 分 布 列 流 {zisyD) piri 一 112",j 王 1,27)， 

风 四 及 Y 的 边缘 分 布 列 分 别 为 
P(X= x) = Dps= pirs= 12 | 
? | C3.6) 


PAY — 3) = Dps= Pri 2 
由 表 3.1 可 见 ,p;, :i 二 1+2:"… 利 pirisj=112,** :分 别 为 该 表 的 右 
边 一 列 和 下 边 一 行 . 因此 称 为 边 绿 分布 . 
对 连续 型 = 维 随机 向 量 于 = ( 基 ,，… ,Xa), 记 其 密度 为 /zi 
ty Ta) ; 则 其 任意 个 分 量 (X.,，…: ,和 -的 边缘 密度 nr 四 
.为 对 From) 的 其 余 n 一 大 个 变 元 从 一 ce 到 十 ce 求 积 
分 得 到 . 例如 设 二 维 随机 向 量 (X, 了 ?有 联合 密度 /x,y) 则 它们 各 
自 的 边缘 密度 为 
Po 一 | Fropdy， 太 oO 一 | Aeropar C3.7) 
相应 的 边缘 分 布 范 数 为 


Fx = APeode = | fedydu, | 


_ (3.8) 
Po = hed | Aerodrdv | 
例 3.2.10 设 二 元 随机 向 量 (X,Y) 有 联合 密度 


fr) 一 二 rm my 


则 驴 与 了 的 边缘 密度 分 别 为 
= 号 


EE 


fx Cy =| 了 Cr ydgy 一 -一 oo cp， 


1 
a 
fr(y) = | fcr ar 一 -去 党 ， 一 yo 

推论 3.2. 11 = 元 分 布 函 数 唯 一 地 确定 它 的 每 一 个 边缘 分 布 
铺 数 ,但 反之 不 真 . 

例 3.2.12 下 面 两 个 表 分 别 给 出 了 两 个 二 维 离 散 随 机 向 量 
的 分 布 列 ， 


出 袁 中 可 以 看 出 ,这 两 个 二 维 随机 变量 有 相同 的 边缘 分 布 ,但 
它们 的 联合 分 布 是 不 同 的 ， 


3.3 条 件 分 布 与 随机 变量 的 独立 性 


3.3.1 条 件 分 布 

当 同 时 研究 多 个 随机 变量 时 ,变量 之 间 的 相互 影响 ,相互 依赖 
的 关系 是 一 个 重要 的 研究 内 容 , 可 以 从 不 同 的 角度 来 研究 这 个 加 
题 ( 例 如 在 4.4 中 从 相关 和 回归 的 角度 来 研究 ). 本 节 研 究 条 件 分 
布 的 概念 , 设置 二 (和 ) 为 于 维 随机 疝 量 ,假定 已 知 其 中 
-部 分 分 量 的 值 , 在 此 笨 件 下 ,其 余 分 量 的 条 件 概率 分 布 是 什么 ? 

首先 设 站 为 离散 型 随机 蛮 重 , 设 对 革 个 <a 已 知 X= > 
和 一 则 在 此 条 件 下 ,CX XXX 的 条 件 

+ 37. 


概率 分 布 列 为 

已 (Xi = Hiri Ke = Tai KR = rip Ki = Ti,) 
= PKR, 一 res RK, = x /POR 一 Tn Ne = rh) 
一 志和 站 二 (3.9) 
其 中 pj; 如 定义 3.1.12 所 定义 ,Pit…+ 为 所.i 对 后 mn 一 & 个 
下 标 求 和 . 
特别 对 二 维 离散 型 随机 向 量 (XX,Y) , 设 其 分 布 列 为 {Cx;,3))， 
po 一 12j 一 1,2}, 则 给 定 和 =z 时 Y 的 条 件 概 率 分 布 
列 为 

POY = ylX=7) = p/p 了 二 12 (3.10) 

在 表 3. 1 中 这 个 条 件 分 布 列 可 由 中 间 第 i 行 除 以 最 右边 一 列 的 第 
i 个 值得 到 . 

由 条 件 分 布 列 就 可 以 得 到 条 件 分 布 函 数 ; 给 定 必 二 zx;,Y 的 条 
件 分 布 函 数 为 

Frix(ylz = YP(Y Ty X= 7x) = 了 po/ 


< 
3 :了 EA yy 


(3. 11) 

但 对 连续 型 随机 向 量 ,直接 由 条 件 概率 公式 去 定义 条 件 分 布 

是 行 不 通 的 , 设 (XX, 了 ) 为 二 维 连续 型 随机 痊 量 ,有 密度 /x,y) ,我 
们 定义 


py yD lm ATXEz+AY SEY) 
如 一 站 


P(r 一 入 之 站 和 工 十 态 ) 


1 I 十 科 Y 
2 | | zy)dxzdy 


一旦 


(3. 12) 


若 /Czx,y) 在 点 (zx;3) 处 连续 , 则 上 式 右 端的 极限 值 为 
Pepayf] fody 
" 2B» 


定义 3.3.1 设 二 维 过 续 型 随机 向 基 (X,7)7 有 密度 /f(x,y)， 
则 定义 给 定 关 一 x 时 Y 的 条 件 分 布 函数 为 


Frxcylz= 上 torn Crspydz dy 


一 上 As Cy |xydy, 
其 中 
frixty|z) 一 ej A xv dv. 

称 为 条 件 概率 密度 . 

推论 3. 3. 2 在 定义 3. 3.1 的 条 件 与 记号 下 ,有 

CY Firs y= flr fv ty |r). 
其 中 /x(x) = | /Czy)dy 为 区 的 边缘 密度 ; 

(2) 了 的 边缘 分 布 限 数 为 

yty) 一 | 本 smecodz 一 ELFyxCylxr)]. 

例 3.3.3 设 二 维 随机 向 量 ( 和 ,7) 服 从 在 单位 圆 上 的 均 邹 分 

布 , 妇 有 密度 


1 % 2 2 

让 - < 1 
/ew 当 嫩 十 3 

OD, 其 它 . 


则 XX 的 边缘 密度 为 

fir) = YI, lr <l. 
故 当 给 定 X=zx(1z1<1D 时 ,Y 的 条 件 密度 为 
Ei 


frixtylr) = 


1 
2 VI 
所 以 当 给 定 关 二 x;,Y 的 条 件 分 布 为 区 向 (一 V1 一 ,v1 一 x?) 上 
的 均 句 分布 ， 
» 40. 


由 定义 3. 3. 1, 可 得 到 当 给 定 Y 一 > 时 ,天 的 条 件 分 布 范 数 和 
条 件 密 庶 分 别 为 
Fxylr|y) = 上 [few fT fu ydu dr, 
加 和 (3. 13) 
fxrltr|y) = ee/ fu du. 


将 定义 3. 3. 1 推广 到 一 般 #4 维 随机 变量 的 场合 有 

定 光 3.3.4 设 丰 ==( 辽 /,… ;外 ,) 为 nn 维 连 续 型 随机 向 量 , 有 
密度 rz yz ; 则 对 下 过 ,给 定 尽 ; 二 TI 攻 一 时 ,Xi 
… 和 ,下 ) 的 条 件 密度 为 

fx 


.A Cpt1 En [x “Te) 


加 fn) -| fx 9 Udv "dv, 


‘3.14) 
条 件 分 布 函 数 为 
Fx 


A Tn [i ss) 


| “| CR “ra | rT dre dr 


3,15) 


”3.3.2 随机 变量 的 独立 性 


定义 3.3.5 设 部 ,Xa…X, 为 一 组 随机 变量 , 若 对 任意 = 
个 实数 集合 4 ,4:，…'4, 有 
P(X € A 后 As E A,) 
一 POCO E A)P(N, € A PEX, € A,), 
则 称 六 1, 苹 2，… ,及 , 为 相互 独立 的 随机 变量 ， 

泗 机 变 其 间 的 独立 性 的 一 个 重要 来 源 是 随机 试验 的 独立 性 . 
例如 , 设 一 个 试验 五 是 由 两 个 独立 的 试验 El 和 Es 复合 而 成 ( 见 
2. 3.2), 设 随机 变 世 外 和 Y 分 别 只 与 ,和 E; 的 试验 结果 有 关 ， 

* dO * 


则 闷 与 了 是 相互 独立 的 随机 变量 . 
定理 3.3.6 设 X;,X,,…,X, 为 一 组 随机 变量 ,它们 的 联合 
分 布 国 数 为 下 (ziyrzaz)? ,各自 的 边缘 函数 分 别 为 F(z)， 
Fa(zsy(Czo 则 碟 ， 相 百 独 立 的 充分 必要 条 件 为 
下 一 
定理 3.3.7 设 姜 ), 半 ,，"…; 苹 , 为 一 组 离散 型 随机 变量 , 则 
各 ,Xe 相 互 独立 的 充分 必要 条 件 为 对 任 一 组 可 能 值 x ， 
Ta ;Tw 有 
PXI = 有 
= PX = Ti PNG = Ty er PX, = Tn). 


定理 3.3.8 设 民 ,XXX。 为 一 组 连续 型 随机 变量 ,它们 
的 联合 密度 为 /ziyza…rros 各自 的 边缘 密度 分 别 为 站 (x)， 
Crasf(z) 网 和 ,于 ,相互 独立 的 充分 必要 条 件 为 
fr 一 (TO fr) 
推论 3.3.9 设 苹 ,7 为 两 个 随机 变量 , 则 XX 与 了 相互 独立 ， 
当 且 仅 当 给 定义 时 ,FY 的 条 件 分 布 与 了 的 (边缘 ?分 布 相同 ! 当 且 
仅 当 给 定 半 时 , 苇 的 条 件 分 布 与 各 的 (边缘 ?分 布 相 间 . 
例 3.3.10 让 一个“ 成功” 概率 为 的 怕 努 利 试 验 中 ,定义 
rel 当 第 i 次 试验 成 功 ， py 
” 496， 当 第 i 次 试验 失败 ， 的 
则 和 ，…;X, 为 相互 独立 的 随机 变量 , 且 每 个 和 有 分 布 PX, 一 
1)=p, P(X;=0)=1— p11 un. 
例 3.3.1] 在 例 3.2.10 中 易 见 /Cr 人 一 AtGzryrmCoy 夏 碟 
与 了 为 相互 独立 的 随机 谈 基 ， 
以 上 讨论 的 是 随机 变量 则 的 独立 性 ,进一步 可 定义 随机 向 量 
间 的 独立 性 , 为 表达 简便 计 , 只 考虑 两 个 随机 向 其， 
定义 3.3.12 设置 二 (Xr, 六 与 了 二 CY 六) 分 别 为 n 
和 41 时 


维和 x 维 随机 向 县 - 若 对 任 一 R" 中 的 集合 4 和 R” 中 的 集合 B 有 
PIXEATEB)=PXE A PE B), 

则 称 随机 向 基文 与 Y 相互 独立 . 

注 (1) 在 上 述 定 义 中 不 涉及 任 -随机 向 量 内 部 各 分 量 之 间 
的 独立 性 问题 . 

(2) 上 述 定 义 仿照 定义 3.2.6 可 推广 到 多 个 随机 向 量 相互 独 
立 的 场合 . 

定理 3.3.13 设 X 与 Y 分 别 为 4 维和 wm 维 随机 向 量 , 则 类 
与 Y 相互 独立 , 当 且 仅 当 


下 (CT 了 CT 


其 中 下 为 (天 ,2 的 联合 分 布 函数 ,Frx 与 Fr 分 别 为 天 与 了 的 ( 边 
缘 ) 分 布 函数 . 


3.4 随机 变量 的 函数 及 其 分 布 


随机 变量 {或 向 量 ) 的 函数 仍然 是 随机 变量 . 设 X 为 随机 变量 
(向 量 ),g{x) 为 实 沙 数 , 则 Y 一 g《 辫 ) 为 一 随机 变量 ， 
对 任 一 实数 集 A, 记 gg (4A)=1x1lg(r}EA4)， 
PCY €E AS Ple(X)E A SPINRE gCA)). (3,16) 
公式 {3.16) 是 计算 随机 变量 函数 分 布 的 基本 公式 . 
设 X 为 离散 型 随机 变量 , 取 值 于 {zi ,xs,…}; 则 对 Y= gC(X) 
有 
PCIYEA)= >) PX 一 工 ). 《3. 17) 


此 公式 可 推广 到 X 为 离散 型 随机 向 量 的 场合 . 
定理 3.4.1 设 X 和 XX 为 相 志 独立 的 取信 于 非 负 整 数 集合 
欧 随 机 变量 ,Y= 六 ,十 区 ;, 则 
» 442。 


[3 
P 人 7 一 外) 一 OP =D POXs = Rk 0 2 
Ca] 


此 公式 称 为 离散 郑 积 Cdiserete convolution) 公 式 . 
设 区 为 连续 型 随机 恋 量 ,有 和 密度 函数 f(z) , 则 对 Y=g(X)， 
了 的 分 布 汲 数 可 表 为 


Fy(y) = POY [ frydz. (3.18) 
wy 
了 的 密度 可 表示 为 
Jr = FT). £3.19) 


上 述 公式 可 推广 到 六 为 各 维 连续 型 随机 变量 的 场合 . 
定理 3.4.2 设 扎 为 连续 型 随机 变量 .其 密度 为 f(x), 叉 设 
8 C7) 为 严格 单调 函数 , 且 反 旺 数 可 导 , 则 了 一 g(x) 有 和 密度 
Jo = fg Oy Cg Cy)) |. 


定理 3.4.3 设 苹 , 利多, 为 独立 连续 型 随机 变量 ,分 别 有 密 
度 六 《1 和 fx) ;二 四 ,十 芝 2, 则 Y 有 密度 


六 (一 | A CY¥ 一 vf wd 


一 上 ta fy — Wd, 
贬 会 式 可 记 作 方 一 万 关 态 一 万 * 六 ， 称 为 积分 状 积 (integral 


convejalion) 公式. 
下 面 考虑 多 个 随机 变量 冰 数 的 联合 分 布 . 
定理 3.4.4 设 站 |, 卫 ,，…,X, 为 连续 型 随机 变量 ,有 联合 密 
度 Fririyzoy 设 一 8 一 0 车 变 换 人 xz， 
ey 有 反 变 换 存 在 , 记 
作坊 二 和 (8 呈 一 1 ,7 ,其 雅 可 比 行列 式 
本 | 出 


号 
总 
EE 
准 
加 
加 
Sy 
斩 


3 Ea az am 
J -一 二 

了 名 0% 9 En 也 号 

dg d En 六 | 0 了 


处 处 存在 ; 则 (YL, "了 ,) 有 联合 密度 
让 

注 在 上 述 定理 中 反 变 换 的 存在 , 即 (zx,…,X) 与 (gi 
8 的 1-1 对 应 是 一 个 关键 的 条 件 . 此 条 件 可 进一步 推广 . 设 在 R" 
的 za 个 互 不 相交 的 区 域 B32，-… ,2 上 上 ;对 (ris sn) EE (x 
to 与 人 go 的 1-1 对 应 存在 , 记 一 (1 8) bi 二 1， 
,Rs 有 相应 的 Jacobi 行列 式 J 在 ;上 处 处 存在 ,j 一 1,2,… 1m， 
则 CY1,"… ,了 ,)y 有 联合 密度 

fy Cy sy) 


一 CO EE ye . | 了， (3. 20) 
例 3. 生 . 与 设 其 1X 相互 独立 ,有 相同 的 密度 
f(r =e ,0 oo, 
设 Y; 一 22Xisk 二 1,…sn. 则 定理 3,4,4 的 条 件 成 立 , 雅 可 


比 行 询 式 | 一 1, 于 是 (Y,,…,Y,) 有 密度 

Fry) Oe， 

例 3.4.6 设 瑟 与 了 相互 独立 是 均 服 从 标准 正 态 分 布 
NC051)( 见 定 关 6.4.5), 设 = 下 十 YI 7 一 和 了 了, 则 尽 与 了 相互 


独立 . 
证 《和 ,7Y) 的 联合 密度 为 
1 
f(x,y) 一 oie 2 


一 00 工人 十 5 一 0 十 0， 
#4" 


又 分 别 在 (XX, 了 的 两 个 取 值 区 域 5 二 R'X (0,00),3, 一 R'X 
(一 oo0,0) 上 ,( 及 ,与 (U,V) 是 1-1 对 应 的 ,相应 的 雅 可 比 行列 
式 为 


1 
:= 2(1 + V2) 
故人 ,7 的 联合 密度 为 
1 1 ] a 
ACH, v) 一 中 志 es- re pa /+ oo 


#0 一 Vo 
由 六 Gusv) 可 算出 U 和 VV 的 边缘 密度 分 别 为 


天 (ay 一 Fe 生 0 < 
. 1 
ND) Lv 


项 Ag 二 六 Go0 疡 Co) ,由 定理 3.3.8 知 避 与 Y 相 总 独立 . 

定义 3.4.7 设 随 机 变量 蕊 ,和 ，…'X。 独立 同 分 布 ,定义 由 
XXX 生成 的 顺序 统计 量 (order statistics ) 为 久 ,，…, 驴 , 的 一 
个 重 排 瑟 ，，%… 瑟 m 庄 足 

有 

定理 3.4.8 设 六 ,…,X, 为 独立 同 分 布 随 机 变量 ,有 公共 分 
布 限 数 F(z) 和 密度 FOr) Ky … 天 为 由 它们 产生 的 顺序 统计 
量 , 则 

{17 车 ,六 的 联合 密度 为 
nl frevyrn) I 
0 其 它 . 
| 

Fr rs) 


| 
-让 


Cr 一 | 


* 5 = 


TT Tk 其 中 和 二 一 coyzri 一 十 ce 一 Drs+l 一 有 二 二 
1 


(3) Xi 的 密度 为 fz) 一 I ry Fr-1 (x) [1— 
FOr) -Foz) 特别 Xo 的 密度 为 Fr)=ntl—F) Tf), 
Xow 的 密度 为 (zy 一 站 zz)， 

推论 3.49 设 避 ,，…， 其 。 独立 有 相同 连续 分 布 函数 下 (z)， 
Xs Xow 为 顺序 统计 其, 记 Y, 王 FRY Y= FX) 
FR D2 Yl FE NY Ye Yr) ~ 
DPC 1)( 见 定 交 6. 6.8). 


» 4d6* 


4 随机 变量 的 数字 特征 


分 布 函数 唯一 地 决定 了 随机 变 基 (向 基 ) 的 全 部 数字 特征 . 而 
随机 变量 的 某 些 重要 特征 又 评 用 少量 的 数值 来 刻画 . 这 样 的 数值 
统称 为 随机 变量 或 分 布 函数 的 数字 特征 ， 


4.1 数学 期 望 ,位 置 参数 


许多 数字 特征 与 分 布 消 数 的 斯 带 尔 切 斯 《Stieltjes} 积 分 有 关 ， 
定义 如 下 

定义 4.1.1 设 随 机 变量 六 有 分 布 聘 数 (x), 对 人 - 实 函 数 
Cz), 定义 它 关 于 F(z) 的 斯 蒂 尔 切 斯 积分 |” 有 h(x)dPCe) 如 下 

(1) 若 了 X 为 离散 型 ,有 分 布 列 {(xi, pi),i 一 1,2,"…), 且 
2 14h) 1p 0 , 则 


| hr)dF Cx) = Date) Ip 


(2) 车 X 为 连续 型 ,有 和 密度 f(z), 且 三 | 六 人 TI < 
mo, 虽 
上 CT)dF CE) 一 | hr CT) dx. 


注 当 忆 |hGz)1p;<oo 或 |” 14(z)1fCz)dz < 的 詹 件 
不 成 立时 ,相应 的 斯 带 尔 切 斯 积分 无 定义 . 


-47 - 


4.1.1 数学 期 户 

定义 4.1,2 设 随机 变量 和 有 分 布 函数 王 (z)， 定义 其 数学 期 
望 (mathematical expectation) 为 

ECX) 一 | za Cx). 

当 上 式 右 端 积分 无 定义 时 ,数学 期 望 亦 无 定义 . E(X) 叉 称 为 均值 
{mean). 

数学 期 望 是 一 个 刻画 随机 变量 的 取 值 “中 心 ” 的 是， 例如 ,假定 
多 的 分 布 关于 pj 对 称 , 即 对 任意 的 z, 亚 (和 一 A 人 > 了 一己 (一 AS 

从 闫 率 通 近 概 率 的 角度 来 看 ,大 数 定律 ( 见 第 9 章 ) 证 明了 ;对 
一 串 独 立 同 分 布 的 随机 变量 藉 ,2 沁 它们 共同 的 均值 为 
如 则 当 充分 大 时 ,上 》 X 加 近 六 这 个 事实 解释 了 “数学 期 户 
这 个 词 的 会 义 . 

例 4.1.3 设 总 一 Ba 二 项 分 布 , 即 己 ( 且 一 到) 一 
| 2 | 下 《1 一声? 《此 一 门 , 1 a ;出 


ECX) = VER pd py =p. 
例 4.1.4 设 随 机 变量 X 服从 柯 西 (Couchy) 分 布 , 即 有 密度 


"1 - ; 
f (7) — Tt co<xr<cecoy* 则 玖 (和 X) 不 存在 ,因为 
”zl qr 
|. ro 


定 尽 4.1.5 设 甘 二 (XI ,YX 为 随机 向 量 , 且 五 (X,)， 
;一 1,2,-… ,都 存在 , 则 定义 匀 的 数学 期 望 (向 量 ) 为 
FEEY = (ECKRIY ECX) ,rs BECKY), 
定理 4.1.6 设 和 有 分 布 国 数 tx) ,YY 一 CX); 则 
»- 48* 


ECY) = EChCX)) = ji RC dF CY, 


当 等 式 右 端的 积分 存在 . 

此 定理 说 明 , 当 求 E(Y) 时 ,不 必 完 求 出 了 的 分 布 函数 ,再 由 
定义 4.1.2 进行 计算 ,和 而 可 以 通过 直接 求 &Cz) 关 于 F(z) 的 斯 蒂 
尔 切 斯 积分 得 到 . 


、 1 
4.1.7 设 XX~NC0,1), 肌 (7)— ee i 
例 设 有 密度 /(2) 一 


i 二 出 
sy 人 
ECX?) = 二 | rie 人 dz —1. 
为 定义 多 个 随机 变量 函数 的 数学 期 望 , 下 面 引入 多 元 斯 蒂 尔 
切 斯 积分 的 概念 . 
定义 418 设 n 维 陷 机 向 量 天 = CX, 关 ,,*…, 苹 ,) 有 联合 分 
布 沙 数 让 Cr ,xa yzo) ,对 任 一 二 元 实 函 数 (Cri sro :定义 其 
斯 带 尔 切 斯 积分 [he yd rs sa) 如 下 : 
01) 若 革 为 离散 型 随机 向 量 , 晶 >) Ces) 1Pi < 
co, 其 中 ,Pi 二 PR; 二 zi 一 Xm) 2 为 对 CX ,X,) 
的 所 有 可 能 值 求 和 , 则 - 
Jha ordF try) Shr sw Pi, 


(2) 车 玉 为 连续 型 随机 向 量 ,有 密度 f(x，…,z.), 且 
dd 看 在 , 则 


[Ee a yr dF Cr i sn 


一 | -| hE ye sr) Cr Ta) dardr,. 


定理 4. 1.9 设 下 为 随机 变量 ,有 联合 分 布 函 数 
a" dd * 


Fr" Tn); 且 Y=h(R 7 芝 ,) ; 则 
ECY) 一 [jac Li TdF (Cz yn) 
例 起 1. 10 设 (X1,X,) 有 密度 (x,y) 二 十, 当 十 之 1, 则 


E(XIX,) = 十 Il rydrdy = 0. 
el 


性 质 4.1. 11 数学 期 望 的 性 质 
(1) 设 C 是 党 数 , 则 EC 一 C 
(2) 设 和 为 随机 变 重 ,a,2 为 常数 , 则 
ElaK + bo) =aEtX)+ po; 

(3) EC(X+Y)—E(XITECY); 
(4) 设 耿 , ,和 :相互 独立 , 则 

ECRIKe HR) 一 ECRDNDECX) "ECX,). 
例 4.1.12 设 廊 |，…, 及 , 独立 同 分 布 ,POX 一 1) 二 p; 了 P(X 


=0) 一 1] 一, 则 X 一 DJX, ~ Bln,p), 故 
i=1 
EC(X) = SEK) 一 np, 
一 1 


4.1.2 条 件 期 望 


定名 4.1.13 设 和 ,7 为 两 个 随机 变量 ,给 定 了 时 ,X 的 条 件 
分 布 函 数 为 F(x|Y). 定义 给 定 了 了 时 芭 的 条 件 期 望 (conditional 


expectation) 为 
ECXIY) 一 | xdF Cr|Y). 


条 件 期 望 又 称 为 条 件 均 值 . 
定理 4- 1. 14 设 X,Y 为 随机 变量 ,g(x) 为 一 实 函 数 , 则 
(1} EL[gtX)]=ELE(gLXN) IY}]; 
站 5 时 


(2) ECRY)Y=EDYE(CX|Y)]. 

注 在 上 述 定理 中 ,注意 到 Elg(X)| 了 ) 为 Y 的 函数 ,因而 也 
是 随机 变量 ,也 可 以 求 期 望 . 公式 (1) 的 含义 是 : 求 ER) 的 期 望 可 
以 分 两 步 走 , 先 对 某 个 已 知 变量 (Y) 求 gC(XX} 的 条 件 期 望 ,最 后 再 
求 条 件 期 望 的 期 望 

例 41315 设 某 种 昆虫 的 一 条 上 峻 成 虫 产 个 卵 的 概率 为 
记 一 起 e- 一 0,1,2,…, 设 每 个 四 钙化 为 幼虫 的 概率 为 p, 且 和 
的 绩 化 相互 之 间 是 独立 的 . 求 平 均 每 杂 上 峻 成 贝 有 客 少 幼虫 ， 

解 ” 设 芝 为 幼虫 数 ,¥ 为 饰 数 , 则 给 定 了 二 时, 关 一 B{, 户 )， 
故 五 ( 荐 | 了 一 下) 一 下 ( 见 例 4. 1, 12) .所 以 EC(X) 二 ECpY) 二 pE(Y) 
~— pa. 


4.1.3 位 置 参 数 


定义 4. 1.16 设 随机 变量 的 分 布 为 己 , 若 由 下 决定 的 一 个 

基 CX) 满 足 
8 十 局 ) 一 下 于 ) 十 CC, 对 任意 常数 忆 ， 

则 称 2X) 为 不 的 (或 刁 的 ) 一 个 位 置 参数 (location parameter)， 

位 置 参 数 在 下 述 意 义 下 刻 划 了 分 布 的 "位置 ”; 当 随机 变量 平 
称 了 一 个 固定 的 量 时 ,由 分 布 决定 的 该 参数 也 平移 了 相应 的 量 . 

由 数学 期 望 的 性 质 EX 十 中博 (X) 十 忆 知 

推论 4. 1. 17 数学 期 望 为 一 个 位 置 参数 . 

除了 数学 期 望 之 外 ,还 有 一 些 刻画 随机 变量 分 布 “ 中 心 ”的 位 
置 人 参数 . 

定义 和 4418 对 随机 变量 总 及 其 分 布 函 数 下 (Cz)，, 定 义 中 位 
数 (median) 为 一 实数 mz( 玉 ) ,满足 


Fm(CK)) = POX < m(X)} 交 六 


"Dil* 


是 1 一 F(tm(X)) = Pix 2m(X)) 六 


性 质 4.1.19 中 位 数 的 性 质 
(1) 中 位 数 mx(X) 一 定 存在 ,但 不 必 唯 一 ; 
《2》 中 位 数 mr (XX) ,唯一 的 充 要 条 件 为 F(x) 在 zs( 及 ) 点 严 
格 增 ， 
(3) 设 玉 (x) 连续 , 则 
PAX Em(X) = = PX Pm); 


C4) 中 位 数 rx (区 ) 为 位 置 参 数 , 即 
m( 久 十 C) 一 m(X) 十 C， 对 任意 常数 CC. 
定义 4.1.20 设 随机 变量 蕊 有 密度 x), 且 存 在 ze 满足 
fra) 一 maxf x), 
则 称 ze 为 天 的 俯 数 (mode)， 
推论 4.1.21 众 数 为 位 置 参数 . 
定义 4.1.22 设 下 (z) 为 分 布 画 数 , 若 对 给 定 的 加 和 (01), 实 
数 zs 和 z; 分 别 满足 
ap = sup{r:P(r) ep} 
z» 一 ini{z:1 — F(z) Ep}. 
则 称 =。 为 天 的 下 分 位 数 (lower a-guantile) ,而 称 z, 为 Ff 的 上 
分 位 数 upper a-quantile), 二 者 都 可 简称 为 分 位 数 (quantile)， 
推论 4.1. 23 分 位 数 也 是 位 置 参数 . 


4.2 方差 .刻度 参数 


4.2.1 方 美 


定义 4.2.1 设 随机 变量 和 有 分 布 范 数 Frzr)l, 且 
本 5 站 


1 
> 


全 zzdPr < se ,定义 区 的 方差 (variance) 为 


HK) EXR- EX | (re— EXYdF a). 


定 光 标准 差 4standard deviation ) 为 
c(X) = 5 区 台 )， 
方 益 ( 怀 准 差 ) 是 用 于 刻画 随机 变量 围绕 均值 的 散布 程度 的 
量 . 以 正 态 分 布 Kaye) 为 例 , 它 的 均值 为 ,方差 为 0*.99. 97% 
的 概率 集中 在 区 间 [ 上 gp 一 304p 十 30j 上, 因此 ,o 越 小 ,随机 变量 的 取 
值 就 越 集 中 在 均值 附近 ;反之 , 它 向 均值 左右 两 边 散 开 的 程度 
就 太 . 
性 质 4.2.2 方差 的 性 质 
(1 2 人 十 ce) 一 a2(X)， 对 任意 常数 c; 
《2 eaX 一 ao 对 任意 解数 ai 
(3) o(X) 一 0, 当 上 且 仅 当 存 在 常数 ,使 得 
P{tX = pA) 二 = 1: 
(4) ge XI—E(XD)— (EX): 
{5) TXI=minE(X TY, 
(86) 设 尽 ;,…… ,区 ,为 相互 独立 的 随机 变量 , 则 
ol SIX) = Do CK,). 


例 4.2.3 在 =” 重 伯 努 利 试验 中 , 记 
入 二 用, 当 第 次 试验 成 功 ，， | ， 
”10, 当 第 i 次 试验 失败 . 


则 六 1 相互 独立 , P(X 二 1) 一 p,P(X,=0)=1-p. 页 


TX)= pp), 令 革 二 六 天, 则 天 (和 一 地 (1 一 户 )， 
定义 4- 2.4 设 和 ,7 为 二 随 术 变量 .定义 给 定 了 时 和 的 茶 件 


站 


方差 为 
eKRIYTY = E{[X — ECXIYY |Y}. 
即 在 给 定 Y 时 XX 的 条 和 件 分 布下 求 方 差 . 
推论 4.2.5 oCX}=E[eCXIY)J+oLECXIYY. 
上 述 推论 说 明 , 当 有 另 一 个 变量 Y 在 对 XX 起 作用 时 ,XX 的 方 
其 可 分 为 两 部 分 :一 部 分 是 Y 对 居 的 系统 影响 部 分 (E(X1Y)) 的 
方差 , 田 一 部 分 是 条 件 方 差 (X17Y) 的 平均 ， 


4.2.2 刻度 参数 


定义 4.2.6 设 由 随机 变量 X 的 分 布 所 决定 的 参数 0X) 

满足 
98a) = a0(X) ,对 任意 a 之 0， 
则 称 8(X) 为 刻度 参数 (scale parameter). 

一 个 合理 的 刻画 随机 变量 散布 度 的 数字 特征 度 该 是 一 个 刻度 
参数 , 这 样 当 随 机 变量 的 值 依 单位 选取 不 同 而 放大 缩小 若干 倍 时 ， 
该 数字 特征 也 以 相同 的 比例 变化 . 

推论 4.2.7 标准 差 el(X) 是 刻度 参数 . 

定义 4.2.8 设 m(X) 为 芝 的 中 位 数 , 则 定义 其 绝对 差 
(absolute deviation) 汶 E|X—m(X)|. 

推论 4.2.9 

(1) Elm(X) |=minEIX—cl. 

(2) 绝对 差 EEX 一 m(X) | 为 刻度 参数 . 

定义 4.2.10 设 对 给 定 和 的 pE (0,1), 记 a 一 1 一 p 随机 变量 
和 的 上 号 分 位 数 为 =y ,下 壹 分 位 数 为 x; ,定义 其 号 分 位 闽 
《quantile difference) 为 ZT 


推论 4.2. 11 pp 分 位 差 为 刻度 参数 , 


三 本 


4.3 和 托 


定义 4 和 .3.1 设 随 机 变量 文 有 分 布 档 数 F(x)， 
C1) 对 给 定 的 实数 7 >0, 其 7 阶 绝对 抢 (absolute moment of 
order 7 了 0) 为 
EIX|* = [ tz Par). 


《2) 对 给 定 的 正 整 数 , 若 EX1' 存在 ,其 元 阶 原点 答 


(moment about origin) 汶 
ax = ECX') 一 上 edF(z)， 


(3) 对 大 于 1 的 正 整 数 癌 ' 若 五 | 区 | ”存在 ,其 着 阶 中 心 矩 


《moment about centre ) 为 
te 一 EC(X — EX)”" 一 | (x — EX)"dF (zr). 


矩 是 广泛 应 用 的 一 类 数字 特征 ,熟知 的 均值 和 方差 分 别 为 -- 
阶 原点 矩 和 二 阶 中 心 托 ， 

定理 4 .3.2 车 0<<g<p, 则 [EIX|'J]r<[EIX1’?. 

推论 4. 3.3 中心 矩 或 原点 矩 存在 为 有 限 的 充分 必要 条 件 是 
同 阶 的 绝对 和 矩 为 有 限 . 

由 矩 又 可 派生 出 一 些 有 用 的 数字 特征 

定义 4.3.4 设 分 布 国 数 Ftz) 有 中 心 矩 jw 一 E(X 一 EX)， 
轴 二 EE(X 一 EX)*, 其 偏 度 和 票数 (coefficient of skewness) 为 

CC, = ja/ pl. 

偏 度 系数 是 一 个 无 量 纳 的 量 , 它 刻 了 画 分 布 函数 的 对 称 性 . 当 
C, 半 0 时 ,Lzx}) 所 表示 的 概率 分 布 偏 向 均值 的 右 侧 ,反之 则 偏 同 
左 侧 . 

四 55 本 


定义 4.3.5 设 分 布 函数 有 二 阶 中 心 抢 pp 一 EX 一 EX)* 和 

四 阶 中 心 纸 史 一 EC(X 一 EX)', 其 峰 广 系数 (kurtosis) 为 
Ce 一 AL 

话 度 C, 是 一 个 无 量 岗 的 量 , 它 用 来 刻画 不 同类 型 的 分 布 的 集 
中 和 分 获 的 程度 ,但 要 注意 这 种 比较 是 在 使 用 祖 同 刻度 的 条 件 下 . 
进行 的 . 

定义 本 3.6 设 闷 为 随机 变量 ,有 分 布 函数 Fr), 则 对 任意 
实数 a>0 及 5, 称 ax 十 6 与 久 有 同型 分 布 , 其 分 布 浮 数 为 

并 一 睫 

虽 于 ?| 


推论 4.3.7 同型 分 布 有 相同 的 峰 度 ， 

对 不 同类 型 的 分 布 ,可 将 随机 变量 标准 化 后 再 比较 其 密度 函 
数 或 分 布 列 的 峰 度 . 

定义 43.8 设 随 机 变量 和 有 均值 和 方差 2 ,其 标准 化 随 
机 变量 为 

KX* = (KX— /ee. 

假定 随机 变量 X 是 标准 化 的 ,其 密度 (或 分 布 列 ) 有 一 个 单 
峰 , 则 C, 盖 小 ,其 密度 的 单 峰 人 钝 “陡峭 ”;C, 盒 大 ,其 密度 的 单 峰 全 
“平缓 ”对 正 态 分 布 来 说 Ct 一 3. 因此 ,一 个 对 称 分 布 ,其 峰 度 系数 
合 接 近 3 ,就 龟 接 近 正 态 分 布 . 


4.4 相关 与 回归 


相关 (correlation ) 与 回归 (regression) 是 研究 随机 变量 之 间 相 
所 关系 的 两 个 重要 概念 , 且 人 彼此 之 间 有 紧密 联系 ， 
设 科 与 了 为 两 个 随机 变量 ,并 记 
mm = EC(X), of = oi(X); tm = EC(Y), oi = oF). 
首先 考虑 Y 对 X 的 影响 . 所 谓 回 归 , 就 是 用 了 的 一 个 沙 数 
。56， 


8(7) 去 近似 六. 

定理 4.4.1 在 均 方 误差 最 小 的 意义 下 ,E(X|IY) 是 XX 的 最 
佳 近 似 , 即 

E[X— EC(XIY)Y] 一 minE[X — g(Y}]. 

定义 4.4.2 E(XIY) 称 为 区 关于 Y 的 回归 总 数 (regression 
function)}. 

对 不 同 的 分 布 ,回归 函数 的 形式 是 不 同 的 ,为 便于 计算 .我们 
常用 了 的 ~- 个 线性 函数 去 近似 XX. 

定义 4.4.3 设 BY 二 PB 满足 

E[X— (BY + BY = minELX — (aY + JY, 

则 称 启 Y 十 启 为 大 的 线性 回归 函数 ， 

对 二 元 正 态 分 布 ,线性 回归 函数 就 是 回归 函数 . 

定理 4.4.4 设 下 关于 了 的 线性 回归 吗 数 为 PY 十 B, 则 


记 一 Pp Bo = pe — Pp, 
其 中 
p= ER — pO(Y — p20) |/oigs = Oo/ ote, 
且 . 
E[X ~— (AY + A = A o£). 
定义 44.5 对 随机 蛮 量 区 ,了 ,定义 总 与 了 的 协 方 差 
《ebpvaiiance) 汐 
cov (X,Y)= ELCX — EXYY — EY)] 
= ELCE ~— (FY — pa)]. 
吕 与 工 的 相关 系数 (correlation ceoefficient ) 为 
ORYY 一 cov( 和 了) wai(CZyaY). 
雇 下 简 记 cov (X,Y) 一 qv,0(X,Y}= pp. 
协 方差 ;和 相关 系数 p 是 刻画 随机 变量 之 间 相 依 性 
。 57 。 


《interdependence) 的 数字 特征 . 由 定义 可 见 , oj 与 pz 有 相同 的 符 
号 , 当 oO0Cp200) 时 ,和 与 节 有 相同 的 变化 趋势 ; 当 gao 
0) 时 , 芒 与 Y 有 相反 的 变化 趋势 ， 

定 巡 4.4. 和 1 当 Ti12—P—=0 时 , 称 全 与 Y 不 相关 . 

协 方差 与 相关 系数 有 以 下 性 质 ， 

性 质 4.4.7 (1) cov(X,Y)=cov(Y ,XX), 

(X.Y)=po(Y ,XX), 
(2) cov(laXth,Y)—acov(X,Y), 
plaXth YY) pK,Y). 

《37 Cov(XX 十 六 2 了) 二 cov (X,Y cov( 玉 ,YY. 

C4) cov (KY) EEXKY)— (EXYCEY)Y, 

定理 4.4.8 若 儿 与 Y 独立, 则 cov(X,Y)= 一 p(X,Y)=0. 

由 此 定理 可 知 ,由 随机 变量 的 独立 性 可 推出 不 相关 性 ,但 皮 过 
来 结论 不 一 定 成 立 . 

例 4.4.9 设 天 ,了 的 联合 密度 为 


1 2 
已 7 tel 
0， 其 它 ， 


则 cov(CX:Y) 一 六 和 ,7 一 0, 因 此 X,Y 不 相关 ,但 由 例 3. 3. 3 剂 ， 
下 与 Y 并 不 相互 独立 ， 

定理 4.4. 30 柯 西 不 等 式 

(1) [covt 蔗 ,了 六 oCX)》， gi(Y)( 或 等 价 地 关 ( 和 ,7)<1)， 

(2) [cov (XY 了 上 二 oCXY。，ar(Y) (等 价 地 ,5 和 ,了 ) 一 1). 
当 且 和 公 当 所 与 了 之 人 司 有 严格 线性 关系 . 

相关 系数 是 用 来 刻画 随机 变量 间 的 线性 相关 程度 的 ,特别 对 
正 态 分 布 或 接近 正 态 分 布 的 随机 变量 来 说 更 是 如 此 . 


» DB. 


4.5 方差 矩阵 与 相关 矩阵 


定义 4.5.1 设 于 一 (XXX 一 (7 Yo 为 两 个 
随机 向 芝 , 碟 与 了 的 协 方 差 阵 (ecovariance matrix ) 为 
Cov ,YT) 一 《Govms 
其 中 一 cov (KY) 二 1 yn 1 
性 质 4. 5.2 协 方差 阵 的 性 质 
《1) cov(Y ,FT)—cov(X,Y). 
(2) 对 任 给 Xm 维 常数 阵 4 和 维 常 癌 量 58 有 
cov(tAEE 十 BP) 一 AcoviE ,YF), 
(C3) cov 下 十 了 ,Z) 一 cov{ 时 .ZI) 十 cov(y7 ,2). 
定义 4.5.3 对 随机 向 量 才 一 (IT 是 的 方差 阵 
Cvariance matrixy 为 
VRY 一 cov{( 居 省》 = (Co,) ns 
其 中 go ;二 cov (KR, XD)), i j=1s "nn, 
在 一 些 文献 中 方差 阵 又 称 为 方差 协 方 羔 阵 (variance- 
covariance matrix). 
性 质 4.5.4 方差 阵 的 性 质 
(1) VCX) 为 对 称 非 负 定 矩 阵 , 即 对 任 给 的 维 列 向 量 a, 有 
a TV (JE 
(2) 对 任 给 的 =” 维 党 向 量 ,有 
oa X) 一 QI)Q， 
(3) 对 任 给 的 xn 维 常数 阵 4, 有 
VOAXY = AV(X)AT. 
(4) IV{Y)| 二 0; 当 上 是 仅 当 存在 n 维 常 向 量 s 和 和 常数 < ,使 得 
dO=c. 
定义 4.5.5 设 随 机 向 十 苇 = (Xi,,…, 久 ,) 其 相关 阵 
“ 58。 


《correlation tmatrix) 为 
_ cor( 耻 ) 一 CO ayn 

其 中 站 一 让] 

性 质 4. 3.6 相关 阵 的 性 质 

(1) cort 瑟 为 对 角 线 元 素 均 为 1 的 对 称 非 负 定 定 阵 . 

(2) 设 = (ow) 为 方差 阵 , DD 一 diag{ oo]; 则 cor(X) 

D'sp. 

(3) 设 人 一 《Di 站 wxw 为 相关 阵 ， 本 加 富裕 访 为 C 的 特征 根 ， 
则 有 


(9 C( 相 关 阵 ) 的 行列 式 1C| 一 [| 过 1,1C| 一 1, 当 且 人 


当 C=4; a 阶 单位 阵 );1ICI=0, 当 且 仅 当 存 在 = 维 常 向 量 & 及 常 
数 忆 ,使 得 a" 下 =c, 其 中 多 为 CC 所 生成 的 随机 向 量 . 
推论 4.5.7 设 于 =( 叉 ,，,…, 及 ,) ”为 n 维 随 机 向 量 ,是 o*(X;) 
二 1 二 37 网 《二 cor (CX). 
定理 4.5.8 设 为 n 维 随机 向 车 的 方差 阵 , 轴 室 宙 闫 之 
之 0 为 了 的 特征 根 ,相应 的 单位 特征 向 量 为 7),…,n., 则 有 
A 二 (NI 天) 一 max CE ¥), 


lI» = 


= 6 “ns 下 ) 一 max oCal¥), 
la =1] 
了 
0 


ET 


ELELL 


= nN) = min oa'¥), 


la .=1 
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5 “特征 函数 与 母 函 数 
5.1 特征 函数 
5s.1.1 一 元 特征 函数 

定 灶 5.1.1 对 随机 变革 苹 及 其 分 布 汕 数 请 (x), 相 应 的 特征 
国 数 5Ccharacteristic function) 汶 

gD 一 有 en = | ed -mit 

其 中 i 为 虚数 单位 ， 

| edF(z) 一 [ eos (tz)dF (Cr) 十 下 sinCrzydFCz)， 


公式 5$.1.2 转 公式 (inversion formula》 
FD) 十 下 全 一 ) FD) + Fa) 
2 2 
一 站 im| gd 
对 任 痊 的 一 品 二 a 之 bp 达 十 oo. 特别 当 &s8 为 Fir) 的 连续 点 时 ,上 
武 左 端 为 (FB) 一 F(a)) 2, 
定理 5.1.3 玲 一 性 定理 分 布 申 数 与 特征 丽 数 相互 唯一 
确定 ， 
定理 5.1.4 车 | 1gkt)1dz < oo , 则 相应 的 分 布 洋 数 (x) 
的 导数 存在 并 连续 , 且 
F'(x) 一 去 | * (tydi， 
性 质 5.1.5 特征 函数 的 性 质 
a Bl * 


(1) [pl |g0) |=1; 

(2) p(— =p(); 

(3) pl) 在 整个 R 上 一致 连续 ; 

(4) ep(t) 为 实 值 函数 , 当 且 仅 当 相 应 的 分 布 函数 关于 原点 
对 称 ，; 

(5) 设 禄 的 特征 函数 为 p04), 则 a 区 十 6 的 特征 区 数 为 
ergtat); 

(6》 对 任意 实数 六 及 复数 为 一 192， :有 


>， Dig 一 条 六 页 深 人 
= 1 i=! 


(7) 设 ECX*) 存 在 ; 则 gpl) 的 mx 阶 导数 存在 , 且 
生生 他) {6 一 ECX*) :下 一 ] 2 9 


(8) 设 六 | 相 百 独立 ， 人 一 SX, , 则 


gt) 一 ] | we)， 
定理 5. 1.6 设 随机 变量 的 特征 阔 数 p(2) 在 某 个 吉隆 09 所 
模 为 1(| gto) | 二 1,56 关 0); 则 半 为 取信 于 和 (2hx 十 a) tosk 二 0， 
土 1 ;七 2,…} 的 离散 型 随机 变量 ,其 中 4a= 一 i log[y(to)j; 反之 
亦 真 . 
定义 .1.7 设 特征 函数 yt) 满足 


logg(t) 一 > Cifj! 十 00), 当 1 一 0， 


则 称 x; 为 ?904 的 i 阶 半 不 变量 (semi- invariant ) 或 累积 量 
Ccurmulant) 7 一] k,logP(t) 允 称 为 累积 量 生成 函数 (eumujant 
generation funetion 》， 

推论 5. 1.8 记 随 机 变量 义 的 j 阶 六 不 变量 为 x,(X), 则 有 
C1) K(XHE KR): 
(2) r,taX)—=a'r( Xs 
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(3) 若 及 ,…*' ,六 , 相互 独立 , 则 


| DX) = Dr CK). 
;1 i=l 
前 5 阶 半 不 变量 与 第 的 变换 公式 
下 | 一 E(X}=a, As 一 pe Ki py 
1 一 一 3 Da 


其 中 避 为 阶 中 心算 :om 为 一 阶 原点 定 . 
5.1.2 多 元 特征 函数 


定义 5.1.9 设 随机 向 量 下 二 CXi, 关 ,区 ,) 的 分 布 函 数 为 
Fer, npn" rn 其 特征 函数 为 


Si ~ 0 >, 2 
pet) = Ele = ee edFen et), 


定理 5. 41. 10” 唯 -性 定理 ”多 元 分 布 阔 数 与 多 元 特征 沙 数 
相互 唯一 确定 . 
性 质 5.41.11 多 元 特征 函数 的 性 质 
(C1) | 天 得 | 人 0 一 1 
(2 pit tt ) 
(3) 若 CX;,…,X,) 的 特征 丙 数 为 O416), 则 对 上 之 #， 
pt 0) 为 CX1… 区) 的 特征 函数 ，; 
(4) > arXs 的 特征 函数 为 区 ep east 
《5) Xi。 相互 独立 的 充分 必要 条 件 为 
Ptst) = Px Hp in) 
(6) 设 于 一 (XXX 一 (Yo), 则 互 与 必 相 互 独立 
的 充分 必要 条 件 为 
Ps tot tn) = Px ta Pr ttm) 


其 中 gp,px 和 gy 分别 为 (X,Y? 了) ,五 和 了 的 特征 蝴 数 ; 
。 63 。 


(7 苦 巨 (XXX 存在 , 则 


(HT aD 
是 AT 7 i 
E(RY MS Nm) 一 二 1/ | 2 


= = 


5.2 母 函 数 


5.2.1 概率 母 函数 
本 节 只 考虑 取 非 负 整数 值 的 随机 变量 , 称 为 整 型 随机 变 基 . 
定名 5.2.1 设 和 有 分 布 列 加 一 已 (人 一 到 天 一 虽 1 52， 全 
的 概率 母 函 数 Cprobability generating function ) 为 


g(t) 一 Dp = EY), 一 1 委 委 1 


以 ， 下 简称 概率 母 函 数 为 母 函 数 . 

定理 5.2.2 坪 函 数 在 [一 1,11]. 上 一 定 存 在 ,和 且 与 概率 分 布 列 
相互 唯一 确定 . 

性 质 5. 2.3 母 函 数 的 性 质 

(1) EC0) 一 疡 中 (0) 一 是 1 prok= ld 

(2) 车 瓦 (X9 存 在 , 则 gl) 一 吾 [ 生 ( 居 一 1)…( 买 一 二 十 1?] 

(3) 设 及 ;,…, 臣 , 为 相互 独立 的 随机 变量 ,有 和 母 函数 g1 G)， 


刚玉 一 Dx, 有 人 母 淫 数 


gat) 一 so， 


04) 设 闷 ,Xe 为 独立 同 分 布 随机 变量 列 , 有 相同 的 母 
孙 数 CN 为 取 非 负 整 值 的 随机 变量 ,有 和 母 画 数 gs (5 ,是 与 
ZX 一 1,2,…) 相 互 独立 ,定义 随机 变量 


N 2 当 N =nn 二 12 , 


* Bd 


则 丸 有 母 隙 数 gg 一 go(g1(10). 

例 5.2.4 设 久 ,, 玉 s, 为 独立 随机 变 昔 询 . PLX, 一 1) 一 让 ， 
P{X; 二 0) 二 1 一 pyN 与 1 独立 ,服从 泊 松 分 布 已 (4 ，, 则 
Xi,Xs… 有 相同 的 母国 数 1 一 pp 十 pt,N 有 母 函 数 e “ ”所 以 


X = 》)X, 有 全 函数 


了 一 站 


e Al- dPte ~ ee ii 
定义 5.2.5 对 整 型 随机 变量 鲜 , 记 /1 一 PCX>A) ,一 0,1， 
2,…, 若 和 式 3 ft 在 区 间 一 之 1 之 ts 上 收敛 , 则 称 在 (一 zz) 上 
的 函数 
q(t) 一 Df 


为 X 的 尾 概 率 母 济 数 (generating function of tail probability). 
定理 5.2.6 尾 概 率 母 函数 在 区 间 (-1,1) 上 ~“ 定 存在 ,在 区 
间 [ 一 1,1] 上 存在 的 充分 必要 茶 件 为 瑟 (X) 存 在 旦 有 限 ， 
性 质 5. 2.7 屁 概 率 苹 洱 数 的 性 质 
1) otl})=E(X):; 
(2) 若 gG) 为 概率 母国 数 , 则 


1 — E(t) 
1 一 去 “ 


gf) 一 
5.2.2 和 托 母 函数 
定义 5.2.8 对 随机 变量 和 及 其 分 布 函 数 玉 (x), 若 积 
全 warkzy 在 菜 一 区 间 (fve) 上 存在 且 有 限 , 则 定义 区 间 (va) 
上 的 函数 
mm 一 | erdPtr) = Ele 


为 下 的 短 苹 说 数 (moment generating function). 

性 质 $. 2.9 答 母 函数 的 性 质 

C1) mm(0)=1; 

(2) 车 x(t) 在 包含 原点 的 开 区 间 (z,t2) 上 存在 , 则 在 此 区 间 
上 的 各 稚 导 数 都 存在 , 且 

mo) = ECXI) ,k= 1,2.: 
(3) 设 下 的 拭 母 函数 为 m(1) , 则 aX 十 5 的 矩 母 函数 为 
em ar)s 


(4) 设 到,-… ,XX, 相互 独立 且 分 别 有 短 苹 孙 数 ma 0 ，…， 
Hatt ; 则 六 一 YX 有 短 母 函数 (2). 


® BO* 


6 常用 分 布 
6. 1 与 伯 努 利 试验 有 关 的 离散 分 布 


伯 努 利 (Bernoulli) 试 验 序列 是 一 种 简单 而 有 广泛 应 用 的 概率 
模型 , 由 之 产生 出 一 系列 常用 的 概率 分 布 . 


6.1.1 01 分布 与 两 点 分 布 


定义 .1.1 设 随机 变量 基 只 取 0 和 和 1 两 个 值 , 记 p=PCX 
一 1),g 一 1 一 pp 一 P(X 一 0), 称 天 服从 0-1 分 布 . 
做 一 次 "成 功 ? 概 率 为 户 的 伯 努 利 试验 ,定义 随机 变量 
1， 当 试 验 “ 成 功 ”， 


让 二 


则 关 服 从 0-1 分布 . 

定义 6.1.2 设 随机 变 基 工 只 取 a 和 8 两 个 值 , 记 p= 二 PCY = 
二 1 一 上 二 PAY 二 0); 则 称 服从 a-& 两 点 分 布 . 

若 苹 服从 0-1 分 布 , 则 对 任意 黄 个 实数 a 和 5,(6 一 a 多 十 a 
服从 a-5 两 点 分 布 . 反之 ,车 了 服 人 a-5 两 点 分 布 ; 风 (YY 一 a)/ 
(一 2 服从 9-1 分 布 . 

定义 和 1.3 01 分 布 的 特征 

(1) ECX} = p(X) = pq. 

(2) 概率 母 芳 数 ”gp(1) = pi 十 g， 

短 母 阴 数 M(t) = pe'tg, 
特征 效 数 P= pe' tg. 


"DF" 


6. 1.2 二 项 分 布 
定义 6.1.4 设 随 机 变量 取 值 于 {0;1,…,n) ,满足 
POX 一 有 = bnp) — |(R) pg “k= 0,1, on, 


其 中 pE 0,1),g 一 1 一 p; 称 匀 服 从 参数 为 n,p 的 二 项 分 布 
(binomial distribution) , 记 作 六 ~B(n'p). 
二 项 分 布 是 # 重 伯 和 努 利 试验 中 “成 功 次 数 ” 的 分 布 . 又 设 半 ;， 


… ,和 ,为 独立 有 相同 0-1 分 布 的 随机 变 基 , 则 XX 一 p34 ~ Bn, 


pp). 


性 质 6. 1. 5 -项 分 布 的 特征 与 性 质 

{1) FE(X)—=np,o (X)—=npg. 

(2) 概率 母 函 数 8 一 (Pr 十 9 入， 
矩 母 函数 mt(t}= (pe't aq)”, 
特征 通 数 pO—= Cpe" dgq)", 

(3) phynip)—=bta—Rin,1—p), 
blElin.p) ntlip 


blRENnsp) Rl a 

二 项 分 布 列 的 示意 如 图 6.1 
Ea zr 
人. 


0.5 ， | 

0, 25 ， 
| 
0 1 2 3 


0 1 22345 6 78 010 
ta) nemd.p=N.s tbyn=10.p—0.3 


向 6.1 


“ DR， 


二 项 分 布 概率 的 计算 比较 麻烦 , 当 npy 较 天 时 {例如 0.2 志 pp 
过 0.8 .npg 宇 10), 可 用 正念 通 近 . 


La AIT 一 = 1 ve : + 


其 中 鲁 (，) 为 标准 正 态 分 布 消 数 , 当 包 较 小 因而 np 不 大 时 (例如 
5 有 0.1,ab5ssi) 可 用 泊 松 道 近 


btk;nsp) = te A 户 全 ;4A) ,此 中 A np, 


定理 6.1.6 没 义 | 与 Xi 为 两 个 相互 独立 的 非 负 束 值 随机 变 
量 , 则 及 | 十 站 :一 Btn; 记 P); 当 二 仪 当 RI~—Bln pyr Re ~ Bln py), 
有 a 二 n=n. 


5.1.3 几何 分 布 


定义 6.1.7 设 随机 变量 六 取 正 整 值 ,满足 
PIX=E) = pq k=12," 

其 中 peE(C0,1),g 二 1 一 思 ; 称 六 服从 几何 分 布 (geometric 
distribution )， 

进行 "成 功 ?概率 为 户 的 伯 努 利 试验 ,直到 首次 “成 荔 " 出 现 为 
止 ,用 关 记 所 需 的 试验 次 数 , 则 基 =& 意味 着 前 一 1 次 “失败 "市 
第 次 “成 功 ”, 相 应 的 概率 为 gp, 即 几何 分 布 . 

性 质 6.1.8 全 全 分 有 的 等 

{1 E(X) 二 十 方 '5 CCX)—g/p’. 


1 1 
一 一 一 < 一 < 
(2) 概率 母国 数 “g(D 一 了 6 一 小 << 十 ， 
矩 和 峡 国 数 m= 7 — ot logq:s 
pm pe' 
特征 函数 Pe) = er 


几何 分 布 具 有 无 记忆 性 ， 即 六 
89。 


Pix =k 二 ri) = P(R=r). 
6.1.4 帕斯卡 分 布 与 负 二 项 分 布 
定 光 你 19 设 随机 变量 六 取 值 于 {7 ,xr 十 1,…}》， 
P(X = = (FT)pe, k=rr+ 1 


则 称 蔷 服从 帕斯卡 (Pascal) 分 布 . 
进行 “成 功 "概率 为 疡 的 伯 努 利 试验 ,直到 第 > 该 成 功 出 现 为 
止 ， 记 让 为 试验 次 数 , 则 下 服从 帕斯卡 分 布 . 蓝 设 攻 | 了 A 


为 相互 独立 具 相同 几何 分 布 的 随机 变量 , 则 X 一 XxX, 服从 巾 其 


卡 分 布 . 
性 质 6. 1. 10 帕斯卡 分 布 的 特征 
(1) EC(X)=r/p or (X)—rop’,; 


i pti 1 ] 
(2) 概率 母 画 数 gt) 一 se a) 了 < 
矩 母 函 数 “0 这 oa ,一 co<t<< 一 logg， 
特征 孙 数 r=|i 产 er | . 
定 光 &1L11 设 随机 变量 Y 取 非 负 整 值 ， 
POY=D= (i) 0), £0,1,2,.. 


其 中 7 半 0,pE (C0,1),g=1 一 志 ; 称 Y 服从 六 二 项 分 布 (negative 
binomial distribution), 

推论 6.1.12 设 为 正 整 数 ,pE (0,1), 若 X 服 共 参数 为 ~， 
思 的 帕斯卡 分 布 , 则 天 一 + 服从 负 二 项 分 布 . 

对 一 般 的 负 二 项 分 布 ,r 不 必 是 正 整 数 . 

性 质 6. 1. 13 负 二 项 分 布 的 特征 

《1》 ED 一方 一 一 号， "Y=rg/p’s 


ri 


(2) 税率 但 还 数 es < 


算 母 请 数 mm 一 | ,一 co<t<clogeg， 


Se) 


特征 函数 p00=| Te | 


6. 2 ” 泊 松 分 布 及 有 关 的 分 布 
6, 2.1 泊 松 分 布 
定义 看 2.1 设 区 为 非 负 整数 值 随机 变量 ， 
PIX = &)= pIN) 一 Ee J， 夷 二 0,1,2 ,1 


其 中 >0 为 常数 , 称 入 服从 参数 为 4 的 泊 检 (Poisson) 分 布 , 记 为 
X~P(N). 

泊 松 分 布 有 广泛 应 用 . 例如 ,在 单位 时 间 内 放射 性 物质 放射 出 
的 a 粒子 数 . 路口 通 过 的 车 辆 数 ,服务 台 到 达 的 顾客 数 等 ,都 可 以 
用 泊 松 分布 来 刻画 , 汽 检 分布 产生 的 机 理 是 基于 一 种 平稳 的 独立 
增 量 过 程 . 假设 一 块 放 射 性 物质 放射 出 的 = 粒子 数 在 一 段 时 间 间 
隔 内 具有 好 下 的 性 质 ， 

性 质 6.2.2 (1) 在 任 一 时 间 间 隔 Ar 内 放射 的 a 粒子 数 的 分 
布 与 此 介 阳 之 外 的 粒子 数 的 分 布 无 关 ( 独 立 增 量 性 )， 

(2) 在 At 内 放射 的 x 粒子 数 的 分 布 仅 与 的 长 度 有 关 , 布 与 
Ar 的 位 置 元 关 ( 平 稳 性 ); 

(3) 记忆 (8) 为 A 时 间 间 隔 内 放射 个 a 粒子 的 概率 ,k=0， 

2,…, 有 
BO CIBD/A >A>0, 当 上 一 0 


及 2 有 (DVR 一 00)， 当 刀 一 0 
一 


"71 。 


则 在 单位 时 间 内 放射 出 的 粒子 数 服 从 P(D 分 布 ;而 在 1 时间 间 
隔 内 放射 出 的 = 粒子 数 服从 Pt 分布 ， 
性 质 6. 2.3 泊 松 分 布 的 特征 和 性 质 
(1) ECKR)=A 0X) SA 
(2) 概率 弛 晒 数 g(t) 二 e170， 
和 矩 母 孙 数 mt =e dt “2, 
特征 函数 g(t) 一 e009， 
(3) pTIIN /pINVD EE 


7 
泊 松 分 布 列 的 示意 如 图 6.2 


p» 疡 
BE 全. 
0.3 0,3 
0.2 0 2 
0.1 0.1 
9 1 2 3 4 3 0 1] 2 3 4 5 2 
ta} A =1 (tb) X=2 
图 6.2 


计算 泊 松 分 布 概率 训 5 可 利用 斯 桂林 (Stirling ) 公 式 : 
kl ar YARRT 二 e ’, 
得 到 pC 和) 的 近似 公式 
plRSAY A Crp) -te 从 | . 
定理 6.2.4 设 久 .XX; 为 独立 非 负 整 值 随机 变量 , 则 芭 , 十 XX， 


一 尼 ( 科 的 充分 必要 条 件 是 
访 1 ~ PCA ,NX, ~ Peas); 量 4A， 十 pm 二 A 


6.2.2 复合 泊 松 分 布 
定义 .2.5 设 和 XIX 为 一 串 独 立 同 分 布 的 非 负 整 值 随 


To. 


机 变量 列 ,N 为 与 1X ,Xe …} 独 立 的 泊 松 分 布 随机 变量 , 则 
Y 一 >,X 的 分 布 称 为 复合 泊 松 分 布 . 


推论 6.2.5 设 Y 一 .4 具 复 合 泊 松 分 布 , 则 Y 有 概率 母 

函数 
GY) 一 ee 
其 中 ECG) 为 X 的 概率 好 库 数 ,4 为 泊 松 分 布 的 参数 ， 

定理 6.2.7 设 X 为 一 非 负 整 值 随 机 变量 , 则 对 任 给 正 整 数 
nn, 多 可 表 为 4 个 独立 同 分 布 随 机 变量 之 和 的 充分 必要 茶 件 为 义 
服从 复合 泊 松 分 布 . 

目 述 定理 中 所 刻画 的 复合 泊 松 分 布 的 特性 称 为 无 窃 可 分 性 
(intinite divisability). 复合 泊 松 分 布 是 一 般 无 均 可 分 分 布 族 的 … 
个 特例 . | 

例 628 设 瑟 ,X… 为 独立 同 分 布 01 蛮 昌 列 ,w 为 与 


EX 区 2 独立 的 (1) 分布 随 机 变量 , 则 Y = 总 ~ PGQp). 
例 6.2.9 供 二 项 分 布 的 概率 导 名 数 为 


A 


sD = [TA | 一 所 


其 中 一 一 rlogp ,AD 一 嗓 亿 二 2 为 对 数 分 布 的 概率 母 消 数 . 因 
此 负 一 项 分 布 为 复合 泊 松 分 布 . 


6.3 其 它 离 散 分 布 


6.3.1 退化 分 布 


定义 6.3.1 设 随 机 变 侠 蔷 只 取 : -个 值 :P(X 二 C3 二 1. 则 称 
瑟 服 从 退化 分 布 (degenerate distribution).， 
。 7 了 


实际 上 退化 分 布 就 是 把 常数 作为 随机 变量 来 处 理 , 因 而 带 来 
很 大 的 方便 ， 

推论 6.3.2 设 碟 服 共 退化 分 布 , 则 和 与 任 一 个 或 任 一 组 随 
机 变量 独立 ， 

性 质 6.3.3 退化 分 布 的 特征 

(1) EC(XI=C,0(KR) 0; 

(2) 窍 母 靖 数 ml) 二 =e”， 

特征 函数 ”gp(7) 一 e*. 
定理 6.3.4 芒 服 从 退化 分 布 当 且 仅 当 严 (7 一 0， 


06.3,2 离散 均 与 分 布 
定义 6.3.5 设 随 机 变量 七 取 值 于 {0,1.21,…* ,2); 且 PLX 二 


站 一 PC 一 1 一 一 PCX 一 站 二 * 则 称 XX 服从 离散 均匀 分 布 


(qiscrete uniform distribution ). 
性 质 6.3.6 离散 均匀 分 布 的 特征 
QD) EOD)= 生 ,0 KR) 


1 
(2) 概率 性 函数 SG 一 让 TOCD， 
1 一 e+ 
Cn 1) (1—e)’ 
1 eitlY 


特征 函数 VOT TT ey 
利用 离散 均 旬 分 布 可 产生 十 进 制 的 随机 数 , 设 六 ,X23,… ,XX 
为 独立 的 取 值 于 10,1,…,9} 的 离散 均匀 分 布 随 机 变量 , 则 Y=0. 
Ki Ns .oo 构成 [0,1) 这 间 上 的 上 位 随机 数 ， 
6.3.3 超 几 何 分 布 


定义 6.3.7 设 随机 变量 多 取 值 于 10,.1,2,*…"n}， 
7 了 4 


上 定 母 函数 天 (划一 


PA A RI /MN). 
k= Ol], 

其 中 对 ,六 均 为 正 吾 数目 na 扫 六 十 好 ,网 称 和 服从 超凡 何 分 布 
(hypergeometric distributiony , 记 作 XXX~ICN ,MT)， 

起 几何 分 布 是 由 无 放 回 抽 祥 产生 的 分 布 . 

性 质 6. 3.8 站 帮 何 分 布 的 特征 

(C1) ECX) =n Ry CK) =n 

(2) 各 种 母 函 数 均 无 简单 形式 , 

起 几何 分 布 用 于 产品 质量 的 抽样 检验 , 当 产 品 数 目 远 远大 于 
抽样 个 数 时 ,可 采用 二 项 逼近 . 


hk) — Blyn pMNTF NM 0, 


NM NM 
1 十 和 六 十 一 二 


一 
6. 3.4 对 数 分 布 
定 闵 6.3.9 设 随机 变量 X 取 正 数 整 值 ， 
P(X = 8) =— /klogp) k= ,2 


其 中 pE (0,1) 为 常数 ,gq 二 1 一 p, 则 称 邓 服从 对 数 分 布 (logrithm 


distribution)}. 
性 质 6. 3. 30 ”对 数 分 布 的 特征 
(1) EC(X)=—g/(plogp), otX)= 


3 11 4 )， 
pilogp {plogp)? J 
(2 概率 母 涌 数 8(D=log(l~—gi} /ogp, 一 9 <t<q- 1 
知 母 函数 ml1)=log(i—ge) /ogp; — ot logy, 
特征 函数 g(x)=log (1 一 ge') /logp. 
定理 6.3.11 由 对 数 分 布 产 生 的 复合 泊 松 分 布 为 黄 二 项 
分 布 . 


® TI 


6.4 正 态 分 布 与 有 关 的 分 布 


6.4.1 正 态 分 布 
定义 6.4.1 设 连 续 型 随机 变量 和 有 密 虐 
fe oz 


¥ 2 
其 中 pe 均 为 常数 ,一 中 之 & 之 十 oo,5 之 0, 称 了 服从 正 态 分 布 
Cnormal distribution ), 又 称 为 高 斯 (Gauss) 分 布 , 记 作 元 ~ 


CA )， 
正 态 分 布 的 分 布 盘 数 为 
] I [EE 
下 fr) = | e 2 dau, 一 中 < 所 十 co 
270 ee 


正 态 分 布 是 概率 论 和 数理 统计 中 应 用 最 为 广泛 的 分 布 . 由 中 
心 极限 定理 (网 第 10 章 ) 知 , 当 一 个 随机 变量 可 表示 为 许多 个 随机 
变量 之 和 ,其 中 每 个 随机 变量 对 总 和 的 影响 都 不 起 决定 性 作用 时 ， 
和 的 分 布 可 近似 地 看 成 是 正 态 的 . 例如 ,测量 的 误差 ,人 的 身高 , 体 
重 , 雹 弹 弹 着 点 的 分 布 , 农 作物 的 产量 等 都 可 以 用 正 态 分 布 来 近似 
地 刻画 . 另 一 方面 ,许多 常用 分 布 { 例 如 二 项 , 泊 检 等 分 布 ), 也 可 在 
一 定 条 件 下 用 正 态 分 布 来 近似 . 

性 质 6.4.2 正 态 分 布 的 特征 

(1) E(X)=p, oa:(X}=o; 

(2) 答 母 活 数 mt) =e*t 守 一 ot 十 oo. 


特征 函数 “pt) 一 ce- 生 | 
(3) 密度 关于 xz 二 点 对 称 ,4 也 是 中 位 数 和 众 数 ; 
(4 天 附中 心 矩 


当 上 二 为 奇数 ， 


心 
— EF(X — JO: 
ME (4 一 1)110:， 当 上 为 偶数 ， 


= 上 


其 中 候 一 1711 = 二 {一 1) (一 3)…3，1, 
正 态 密度 图 象 示意 如 图 6. 3. 
F 


由 图 6. 3 可见 ,密度 曲线 关 寺 x 二 点 对 称 ,其 形状 由 a 的 大 
小 所 决定 ， | 

定理 6.4.3 克拉 上 默 - 列 维 (Cramer-Lévy) 定 理 设 和 ,和 :为 
独立 随机 变量 , 岂 种 十 2 一 Kg) 当 且 人 当天 一 NA 本 )， 
KN(mo) ,BH pC— pao 

定理 和 4.4 设 关 ~~N(p,o 9) ;: 刚 对 常数 4a 隆 0 及 braX 十 5b~ 
Naapgttrao’), 

利用 此 定理 ,在 计算 一 般 正 态 分 布 的 概率 时 ,可 将 其 转化 为 一 
种 特殊 的 正 态 分 布 进行 计算 ， 

定义 64.5 设 XX~N(0,1), 称 X 服 从 标准 自 态 分 布 
(standard normal distribution ). 

标准 正 态 分 布 的 密度 和 分 布 阔 数 分 别 记 为 g(x) 和 B(x): 


] - 翌 
《17 or) 一 £5 一品 所 co 
v2 


_ lr _ 

《2) Br) |e rd 
在 标准 正 态 分 布 开 中 ,给 出 了 对 应 于 之 0 的 鲁 (z) 值 . 表 的 最 
左边 一 列 给 出 了 z= 二 0.0~3.0 的 值 ,家 的 最 上 而 一 行 给 出 了 = 的 


第 二 位 小 数 . 表 中 之 值 为 多 (zx) 的 值 ,例如 要 查 $$(1. 32), 则 在 左边 
四 ?7 的 


-- 列 找到 1.3, 在 1.3 所 在 的 一 行 找 对 应 最 上 面 一 行为 2 的 列 , 得 
到 0. 9066, 即 为 名 (1. 32) 之 值 . 此 表 也 可 由 已 知 名 (z) 之 值 ,来 查找 
*. 当 xz<0 时 ,利用 公式 
fz) = 1 CO— BP(— 2). 

便 可 得 到 硬 (z) 之 值 . 例如 下 (一 1. 32) 一 1 一 更 (1.32) 一 1 一 0 9066 
一 0.0934， 

对 一 般 正 态 分 布 ， 利用 下 述 推论 将 其 转化 为 标准 正 态 分 布 进 
行 计算 ， 

推论 6.4.6 设 X~NGa0), 则 CX 一 Fy/o~N(0,12 

例 6.47 设 基 一 N(l.40.0, 0025), 求 记 (.35 之 芝 < 之 1.45》 
及 区 的 上 0.05 分 位 数 ， 


解 由 Am 一 1.40,a 一 0. 05 知 芋 


1 +0 
0. OS 

/Xl1.40 
peX<1.35)=P| 二 


=1—®(1.00)=0.1587, 


一 1. 40 
0. 05 


~N(0,1), 


POX<1.45)=P| <1.00| —®(1.00)=0. 8413， 


< 一 1， 00| 一 更 (一 1.00) 


于 是 
PC1, 35< Xl. 45)= POR 45) — PK. 35) 
一 0. 8413 一 0. 1587 一 0. 6826. 
用 zow 记 NC(0;1) 和 的 上 0.05 分 位 数 , 有 多 (z66s) 一 1 一 0.05 一 
0. 95, 于 是 zu 一 1.65, 于 是 x 的 上 0, 05 分 位 数 row 为 
二 十 so 一 1.40 十 1.65X0.05 一 1 4825. 


6.4.2 和 分 布 
定 涉 6.4.8 设 习 ,和 ,XX 为 相互 独立 , 同 NC(0,1) 分 布 
的 随机 变量 ,定义 Q@ 一 Dx , 训 Q 的 分 布 称 为 具 自由 度 # 的 交 
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分 布 (chi squared distribution), 记 和 作 人 一 好 (ma)， 
入) 的 概率 密度 函数 为 
(— 1 te 
frin) = 本 互 | 
D, 人 D0, 
其 中 | 纪 | 为 仙 玛 (Gama) 遂 数 ， 
| 3 一 | ed 


[a 


(wn) 的 密度 函数 图 象 示 意图 6. 4. 


图 6.4 


六 分 布 在 数理 统计 中 广泛 地 用 于 方差 的 估计 和 检验 . 

人 性质 6. 4. 9 。 x(x) 的 特征 

1) FQ)=n0 (RQ}=2n; 

《2) 矩 母 函 数 mG 一 (一 24) 了 了 一 o0<t<1， 

特征 函数 ”y(t) = 一 211) -3. 

定理 6.410 设 &,Q; 为 相互 独立 ,分 别 服 从 入 (mn ) 和 
六 {nz) 的 随机 变量 , 则 QQ ~ Cn 十 az》 

定 尺 6.4.1 设 总 ,XXX 相互 独立 ,XX 一 N (js,1) ,i 一 


1,… om) 且 $ 二 引 避 产 0; 则 Q 一 Xi 的 分 布 称 为 具 自由 度 


和 


#* 和 非 中 心 参数 8 的 非 中 心 从 分 布 Cnoneentral chi squared 
distribttiony, 记 作息 一 大 (2 

由 定义 可见 妇 人 na 是 妇 人 as3) 当 全 =0 时 的 特 合 ,因此 又 称 
六 (Cn) 为 中 心 六 分 布 . 


xzs8) 的 密度 函数 为 
zs | i’ 1 四 
2 ， 工 实 
As 之 | 2 3r| ;十 三 | 人 
， 0, 


性 质 6.4. 12 尖 (n,8) 的 特征 

C1) E(Q) =ntd a) = ns 

(2) 特征 函数 ziD=G 一 20gexp| 这 元 | 

推论 6.4.13 设 凶 ~ 让 GQ 一 (1602); 且 与 人 Qi: 
相互 独立 , 则 Qi 十 Qs 一 关 Gn8) ;其 中 二 入 十 mn216 一 (B89 十 人 7 

x! 分 布 与 独立 同方 差 的 正 态 随机 变量 的 一 类 二 次 型 有 密切 
联系 . 以 下 总 设 下，… 4 尽 ,为 独立 随机 变量 ,Xi 一 N (p40)， 
i 一 100m 记 列 随机 向 量 下 一 (XXX 列 常数 向 量 邓 一 
Cp pn) 

定理 人 4.14 设 4 为 吕 阶 对 称 阵 , 和 一 下 "48 天, 则 轧 一 天 
(3 , 当 目 仅 当 点 为 蹇 等 阵 , 即 尾 一 4 此 时 天 一 rank(4) 一 trace 
(CA),B=aM'AMT. 

定理 6.4.15 设 4 和 B 为 两 个 对 称 宕 等 阵 ,Q! 一 耻 "AX/o” 和 
,一 XY"BX/o? 均 服 从 六 分 布 (不必 是 中 心 的 ) , 且 4 一 如 为 非 零 半 
正定 阵 , 则 (Qi 一 Q)/o? 也 服从 尖 分 布 ,自由 度 为 rank (4) 一 rank 
(BRB), HB BC(A—B8}=0, 

定理 6.4.16 柯 赫 兰 (Cochran) 定 理 设 A 


个 对 称 阵 , 且 314; 一 上 :单位 阵 记 多 一 AX/07 一 1 


* +* 


则 入，…: 包 为 相互 独 了 的 妨 分 布 的 充分 必要 和 条件 为 
SVrank A) 二 1. 此 时 QQ~G B60) n=rank (A) ,= eM 
AM i=1, ,pm. 

定理 和 看. 4. 1 7 设 | 六 独立 , 同 Nx) 分 布 , 记 
wr 1 Sn 2 ] 2 
蔗 = XS 一 5 之 人 一 腕 六 , 则 

(ly ~ N| | 

(2) Cn— 1 /or Yn), 

(3) 总 与 3: 相互 独立 ， 

以 上 几 个 结论 在 数理 统计 中 有 重要 的 应 用 . 

对 中 心 补 分布 , 常 收 查 表 求 上 a 分 位 数 ,a 常 取 0.9,0.95， 
0.99 或 0.1;,0.0510.0] 等 值 . 在 附 表 4X 分 布 表 ) 中 ,最 上 面 … 行 
是 a 值 , 厄 左边 一 介 是 自由 度 x, 表 中 是 六 (mn) 的 上 a 分 位 数 ( 记 作 
X20), 例如 , 查 表 可 得 :X207; 人 (10) 二 3. 247 ,X2025 (10) 二 20.,483. 由 
此 可 知 , 若 多 ~ 省 G72, 则 PP(3.247 才 QS20.483) 一 0. 905， 


6. 4. 3 tft 分 布 

定 闵 6. 4. 18 设 其 和 N01),Q 一 (tn), 有 是 与 包 相 互 独 
立 , 记 Tx /a 本 的 分 布 称 为 具 自 由 度 # 的 :分布 ,又 称 为 
学 生 (student) 分 布 , 记 和 作 ~1(x). 

分 布 的 密度 晴 数 为 

nl1 wm ni 2 
flrin) 一 [| 1) /om 3 | | 1 十 | 
一 co 十 se 

itn) 的 密度 与 N(0,1) 的 密度 图 象 比 较 见 图 6. 5. 


从 图 6.5 可 看 出 ,tin) 分 布 非常 接近 标准 正 态 分 布 ， 
-81 * 


AD.13 
riny 


| 


6.5 


性 质 6.4. 19 (nn) 的 特征 
(1) E(T)=0( 当 n>D0 (TT) (n>2); 


(2) 矩 母 画 数 不 存在 ,特征 函数 无 简单 表达 式 ; 
(3) 0 为 对 称 中 心 ;中 位 数 和 众 数 ， 
定理 6.4.20 设 束 一 NO 1 T 一 8 一 1 2，…… 则 


Hm7. 一 一 区. 
1 分 布 常用 于 数理 统计 中 正 态 总 体 均 慎 的 区 间 估 计 和 检验 . 
定理 6.4.21 设 蔗 ,XX, 独立, 同 NInyo) 分 布 , 记 部 一 


1 SS TS 加 
5 一 下 一 T (2 7， 则 


no— 2) 
S 


了 一 ~ tno— 1), 


定理 6.4. 22 设 及 1 并 独立 , 同 IE 分布, ，…， 
了 。 独立 同 Mpa 分 布 ,上 且 { 语 ;及 ,与 人 Y, 3" ,独立 . 定义 


叉 和 如 上 ,定义 了 一 十 5)Y,,31 一 二 二 一 7 , 令 
j=1 jl 


mn A 
和 RY) 

Je 一 1358 + Gm — 1)S? 
(m+ mo 2) 


sR 


则 当 


各 二 pe 时 ,了 tn 二 mm 一 2). 


定 灶 .4.23 设 庆 ~ 入 (Gps1),Q@ 一 让 (n), 且 与 @ 相 互 独 
六 , 记 7 一 X /人 ,车 7 的 分 布 为 有 由 度 站 和 非 中 心 参数 产 的 
机 


非 中 ， 


性 分 布 , 记 作 了 工 一 av) 


EO) 为 iCny 科 当 w 一 0 时 的 特例 , 常 称 为 中 心 上 分布， 
6.4.4 五 分 布 


定义 而 村 24 训 好 一半 (0); 仿 : 盖 六 (m2) ; 且 i 与 ;相互 独 


立 , 记 =| 各 | /| 多] ,由 严 的 分 布 称 为 具 自由 度 Cn ,za) 的 严 分 
布 , 记 作 下 ~ 已 Cn yna) 


(aa 有 密度 罗 数 


(RR A | 5 

1 Ry > 

Frmsmn) = 4B 了 全 | [1 工 访 9 
| 2 ”21 

所 r<0, 


Fn 


22 的 密度 图 象 示意 如 图 6. 6. 
F 


性 质 6. 4. 25 已 Can 的 特征 
Wd 
ns—2 


(C1) EC(F)= (n> 2), 


"B33" 


; 2ni(n tn OO— 2) 
< 一 下 
PP 4)s 


(2) 和 矩 母 函 数 不 存 在 ,特征 函数 无 简单 表达 式 ， 
记分 布 在 数理 统计 中 常用 于 方差 比 的 检验 . 
推理 6.4. 265 设 Si 和 5% 如 定理 6.4.22 中 所 定 久 , 则 


和 
fF= 有 Fn lm 1). 
了 


定 尖 不.27 设 岛 一 估 (Cm ;一 让 Cnz7) ;月 祷 ; 与 Q@; 相互 
独立 , 记 下 = 号， 则 玉 的 分 布 称 为 具 自 由 度 Cnwn2) 和 非 中 心 参 


数 8 的 非 中 心 五 分 布 , 记 和 作 F~Filn, nd), 
Fr (nisnz) 是 Finnasd) $=0 时 的 特例 , 丸 称 为 中 心 F 
分 布 . 


6. 4.5 对 数 正 态 分 布 


定义 4.28 设 廊 ~N(po), 了 一 e*, 则 的 分 布 称 为 对 数 
正 态 分 布 (log-normal distribution)， 


对 数 正 态 分 布 有 密度 函数 
1 Uogy 一 站 
/YT | 2 
对 数 正 态 分 布 的 密度 图 每 示意 如 图 6. 7. 
Ff 


图 6.7 
性 质 6. 4. 29 ”对 数 正 态 分 布 的 特征 


"BA 


(1) ECY) et ,oY) er "(er 1)， 
《2) 算 姓 了 欧 数 不 存 在 ,; 特 入 有 明 数 无 简单 表达 式 . 
对 数 正 态 分 布 作为 寿命 分 布 常用 于 可 靠 性 统计 中 . 


6.5 其 它 连 续 型 分 布 


.5. 1 均 名 分 布 
定义 6.5.1 设 随机 变 世 区 有 和 密度 
i ax 
f= 人 
0， 其 它 . 


则 称 己 服从 区 间 [e ,到 上 的 均匀 分 布 (uniform distribution), 记 作 
RU la sb) 
均 名 分布 产生 于 几何 概率 模型 ,最 有 用 的 是 (60,1). 
性 质 6. 5.2 U0,1) 的 特征 
1 sy 1 
(C1) ECXI)=T (X)= To: 


(2) 短 母 函数 ”mm() 一 全 一， 
ia- 一 1 


特征 函数 ”gq 

定理 6.5.3 设 随 机 变革 了 有 单调 连续 分 布 滑 数 请 (xr) . 令 
Y=F(), 则 YY~U ,1). 

利用 此 定理 可 产生 出 服从 任 一 指定 的 连续 分 布 的 随机 数 , 假 
定 需要 产生 的 随机 数 应 服从 分 布 民 , 则 可 先 产 生 服 从 一 C0:1) 的 随 
机 数 ww 这 可 以 利用 随机 数 囊 或 计算 机 上 的 随机 数 发 
生 器 来 作 到 ,再 令 二 一 Fo AN 就 得 到 服从 分 布 五 的 
随机 数 . 


7] 


6.5.2 指数 分 布 


定义 6.5.4 设 随机 变量 X 有 概率 密度 
fr) = (< TI 宇 0， 
0, 全 < 0 
其 中 4 为 正常 数 , 出 称 且 服从 指数 分 布 (exponential 
distribution }. 
颖 数 分 布 的 分 布 函 数 为 
Fry = 人 册 当 < 0， 
1 一 e“， 当 芝 岂 
指数 分 布 在 机 理 上 与 泊 松 过 程 有 关 , 设 一 块 放射 性 物质 在 时 
间 间 隔 上 内 放射 出 的 e 粒子 数 服 从 参数 为 站 的 泊 松 分 布 , 则 1 一 
e “是 在 上 时 间 间 隔 内 一 定 会 放射 出 = 粒子 的 概率 . 作为 上 的 函数 ， 
显然 下 (的 一 1 一 e “就 是 指数 分 布 的 分 布 番 数 . 因此 ,指数 分 布 是 
油 松 过 程 中 等 待 第 一 个 非 零 计数 出 现 的 时 间 的 分 布 . 
指数 分 布 在 可 靠 性 统计 中 常用 作 “ 寿 命 ” 分 布 ,例如 用 来 刻画 
无 线 电 元 件 的 寿命 . 
性 质 6. 5.5 指数 分 布 的 特征 
(CD 下 (X) 一 下 ,2() 一 击 ; 
1 
le 
特征 函数 ”1) 二 一 一 
有 
定理 6.5.6 设 久 服从 指数 分 布 , 则 
P(X1+ sR = PK). 
此 定理 的 结论 常 称 为 指数 分 布 的 “无 记忆 ”性 , 假若 无 线 电 元 


件 的 寿命 服从 指数 分 布 , 则 一 个 元 件 在 已 经 使 用 了 一 段 时 间 而 未 
. 86 二 


(2) 生母 函数 大 (一 


损 杯 时 , 它 还 可 以 充当 一 个 新 的 元 件 来 使 用 . 
6.5.3 三 分 布 
定义 6.5.7 设 随机 变量 义 有 密度 


Ey 
Cr) = | ， 工 他 人， 
0, < 
其 中 和 + 均 为 正常 数 , 册 称 茸 服 从 三 分 布 , 记 作 闫 一 也 Ar). 
夏 分 布 也 是 泊 松 过 程 中 一 个 等 待 时 间 分 布 的 推广 , 当 > 一 1 时 
就 是 指数 分 布 .工分 布 也 在 可 靠 性 统计 中 用 作 寿 命 分 布 . 
性 质 f4.5.8 械 分 布 的 特征 


rr 


(1) E(X)=T XN) 
(2) 矩 母 函数 mle)=| 1 一 二 | i 


特征 函数 “PCD 一 | 1 一 芝 | 
[分 布 的 密度 图 每 示意 如 图 6. 8， 


了 一 


图 6.8 
定理 6.5.9 设 X,,…,X, 为 相互 独立 ,具有 相同 参数 的 指 
数 分 布 的 随机 变量 , 则 > X 的 分 布 为 具 参 数 hn 的 六 分 布 


= BT 


推论 6. 5.10 x(n) 即 为 具 参 数 1 一 于, 一半 的 卫 分 布 ,特别 
当 =2 时 , 认 (2) 即 为 具 参数 4 一 方 的 指数 分 布 . 
6.5.4 有 分 布 
定义 6.5.11 设 随机 变量 X 有 密度 
Xl oA) 二 
jew -| ，0<r<l, 
0， 其 它 . 
其 中 p,q 为 正常 数 ,BCp19) 一 | ze 1 一 z)”'dz, 则 称 入 眼 从 
参数 为 (p,q) 的 PLBeta) 分 布 ， 
性 质 6. 5. 12 有 分 布 的 特征 


__F 2 
(1) EC(X)— Tg” (xX) 


pa ; 
(p+oay lt+pta) 


oe _T(p+ta)S Tp+q) ii)’ 
(2) 特征 函数 ”gp 一 Fp) 2 POT TT 


定理 6.5.13 设 卫 ~ 了 (Ayp) ,XW2 一 TA,9)( 风 定义 6.5.7)， 
日 X, 与 X; 相互 独立 , 则 大 守 友 服从 参数 为 (pq) 的 8 分布 

推论 6.5.14 设 久 ~~Fasm): 则 民 十 X) 服从 参数 为 
J 
| 的 @ 分 布 

8 分布 在 数理 统计 的 多 元 分 析 中 有 重要 应 用 . 
6.5.5 韦 布 尔 分 布 

定义 6.5.15 设 随 机 变量 和 有 密度 

了 一 二 1 
re- x | e 和 


0 了 < 所 


* 。 


其 中 和 > 为 正常 数 .w 为 实 常 数 , 则 称 区 服从 韦 布 尔 Cweibull) 分 
布 , 记 作 XX~W (ey,r, wn). 

推论 6.5.16 没 X~W(Cary), 则 | | “服从 参数 4 二 1 
的 指数 分 布 . 

韦 布 尔 分 布 的 密度 图 象 示意 如 图 6. 9. 


于 


图 6.9 


性 质 6.5.17 Wiayr,p) 的 特征 

GD ECX) =aT| 1 十 过 | + 
“=rT|1+2) [1+ 志 |]; 

(2) 条 母 函 数 与 特征 函数 无 简单 形式 ， 

韦 布尔 分 布 是 可 靠 性 理论 中 的 基本 分 布 . 


6.5. 瑞 利 分 布 
定 兴 不 5.18 设 随机 变量 庆 有 密度 


了 
工 、 页 
Fr) -二 ” 工会 0， 


性， 工人 0D, 


其 中 o>0, 则 称 下 服从 瑞 利 (Rayleigh ) 分 布 . 
0. 


定理 6.53.19 设 瑟 |,,X 为 相互 独立 ,有 具 相间 分布 Ko,e2 的 


随机 变量 , 则 Xf 十 下 的 分 布 为 瑞 利 分 布 . 
性 质 6. 5. 20 瑞 利 分 布 的 特征 


CD) ECX)=N Fo X) os 


(2) 矩 母 函数 与 特 入 请 数 无 简单 形式 . 
推论 6.5.21 瑞 利 分 布 为 WW(2, Y 20o,0); 韦 布尔 分 布 的 
个 特例 . 


6. 5.7 和 拉 善 拉 斯 分 布 


定 闵 不 .5.22 设 随 机 变量 和 有 密度 函数 
zy》 一 be 7, 一 oo Lon, 
其 中 A 为 正常 数 ,x 为 实 常 数 , 则 称 各 服从 拉 普 拉 斯 (Laplace ) 
分 布 . 
性 质 6.5. 23 拉 普 拉 斯 分 布 的 特征 
C1) EO Tp HT 


《2) 特征 函数 p= 


6.5.8 柯 西 分 布 
定义 6.5.24 设 随 机 变量 X 有 密度 
Fo- ro0, 


fx[L 形 十 (rz 一 下 ) 
其 中 4 为 正常 数 ,p 为 实 常数 , 则 称 X 服从 柯 西 (Cauchy ?分布 
定理 6.5.25 设 4 为 | - 季 , 芝 |] 上 均匀 分 布 随机 变量 , 风 
X 一 1g0 的 分 布 为 具 参 数 1, 一 0 的 柯 西 分 布 
性 质 6. 5.26 柯 西 分 布 的 特征 
* 0" 


(1) 各 阶 矩 都 不 存在 ; 

(2) 特征 函数 wt) =e* 1 

柯 西 分 布 的 密度 图 演示 意 如 图 6. 10. 
f 


a 开 


图 86.10 


定理 6. S$. 27 设 已， ,天 芒 ， 为 相互 独立 ,有 相同 柯 西 分 布 
的 随机 变革 , 则 县 一 二 > 元 也 服 内 柯 西 分 布 - 


由 此 定理 可 见 , 中 心 极限 定理 对 柯 西 分 布 的 随机 变 其 列 不 
成 立 ， 


6.5.9 帕 雷 托 分 布 
定 6.5.28 设 随 机 变量 大 有 密度 


。 
fr) _ | 2 人 0， 
io, 二 < 由， 
其 中 > 为 正常 数 , 则 称 外 服从 帕 雷 托 (Pareto) 分 布 . 
性 质 6. 5. 29 ” 帕 雷 托 分 布 的 特征 
(DD EC(X)= DX) 
《2) 外 母 吗 数 不 存在 ,特征 函数 无 简单 形式 . 
柏 震 托 分 布 常用 于 经 济 学 中 , 帕 雷 托 首 先 用 它 描述 财政 收入 


的 分 布 . 


(rm 2 ); 


91: 


6.5. 10 逻辑 斯 谤 分 布 
定义 6.5.309 设 随机 变量 和 有 密度 
fx) 一 - 


则 称 和 服从 有 还 辑 斯 请 (Logistic) 分 布 . 
性 质 6.5.31 有 还 辑 斯 诺 分 布 的 特征 
(C1) ECX)=0,0 (KR); 
(2) 绰 母 晴 数 m0 一 xtcosec (ri), 一 0 车 09， 
特征 函数 ”p(t} 二 niteosec (xif)， 
有 还 辑 斯 诺 分 布 常用 于 经 济 学 与 人 口 统计 学 ， 


6.6 多 元 分 布 


在 多 元 分 布 中 ,最 重要 的 是 多 元 正 态 分 布 ,在 数理 统计 的 多 元 
分 析 领 域 中 有 产 泛 的 应 用 . 这 部 分 内 容 将 在 第 18 章 18. 1 中 详细 
介绍 . 


6.6. 1 二 元 正 态 分 布 
定义 和 .6.1 设 二 维 随机 向 量 ( 了 X,Y} 有 联合 密度 


1 { [ 兰 一 £1 
fry) A010 Ts? 201 一 新 ) 人 
22(zr 一 各) 一生) | (y 一 ”| 
2 日 
COs Ea 


一 on Ty 十 59， 
其 中 Flrpta sr Ts 均 为 常数 ,分 别 满足 一 吕 达 记 1 革 00101 这 0， 
G2>0, joj 之 1; 则 称 随机 向 量 (X,Y) 的 分 布 为 二 元 正 态 分 布 , 记 作 
《天 ,YA 时) 
2 。 


性 质 6.6.2 二 元 正 态 分 布 的 特征 
《17》 五 (有 一 上 El)=p, 
oA{R)=o, qlY)=oi, p(XY)S=p; 
(2) 特征 函数 
Pl, st2) 一 exp [ip 十 Ata) 一 FL 十 Dtzpo0s 十 foi] }. 


二 元 正 态 密度 图 象 示意 如 图 6.11. 


二 元 正 态 分 布 的 边缘 分 布 与 条 件 分 布 仍 是 正 态 分 布 ， 
于 CE 人 CpG 


XI7 = y~ N+ py — po — Pp)), 
YIX=r~ NI m+ oe ~ .0 — Pp)). 


定理 &.6.3 设 (X, 了 了) 服从 二 元 正 态 分 布 ,; 则 六 与 了 独立 的 
充分 必要 条 件 为 和 与 了 不 相关 , 即 6 一 0. 


6. 6.2 多 项 分 布 


定义 6.6.4 设 随机 向 量 (X ,区 ,,，… ,XX,) 有 概率 分 布 
* 3 


1 
P(tX, 二 下 一 Pr A 
其 中 1 sk 为 非 负 整数 ,满足 之 /大 一 Rp spr 为 正常 数 , 满 


足 DJp 二 1] ; 则 称 此 分 布 为 甸 项 分 布 Cmultinomial distribution ). 
多 项 分 布 可 由 一 个 4 重 试验 产生 ,其 中 每 次 试验 产生 r 个 基 
本 事件 A ,4. 记 p=P{Ai) i=1 a > p 二 1 ,这 是 n 重 


怕 努 利 试 验 的 推广 , 记 X; 为 A, 在 有 次 试验 中 发 生 的 次 数 .i 一 1， 
从 多 项 分 布 . 
由 定义 可 知 ,多 项 分 布 中 实际 上 只 有 r+ 一 1 个 自由 变量 . 即 
P{XKI 十 人 十 二 人: 二 nn) 二 1. 
性 质 6.6.5 多 项 分 布 的 特征 
{1) ECXR)—npint lars 
oR)—=npl— p= rs 
cov (KR)—=—npipirnisj—= 1 rT is 
《2) 特征 函数 
Pssst) = (pest prew)". 
定义 6.6.6 边缘 分 布 与 条 件 分 布 
(1) 对 5<r EX 的 边缘 分 布 为 
PX, 一 后 一 天) 


i 
blk Dk)! : 
其 中 和 二 上 scn 特别 有 Ki BOs pi) sil rs 
(2) 给 定 了 一 i 六 ,二 上 时 ,和 和 …, 和 ,的 条 件 分 布 为 
PE = 下 sy =— kX = ks Kr, = k) 
a 9d" 


其 中 二 十 … + =n Dk. 

例 6.6.7 设 一 批 产 品 可 分 为 4 类 ;一 等 品 , 二 等 唱 , 三 等 品 
和 不 合格 品 ,各 占 比例 100p.%.i 一 1,2,3,4， 人 p; 二 1. 从 这 批 产 
品 中 有 放 回 地 抽取 个 ,用 X,,…,X, 记 样品 中 一 ,二 ,三 等 品 及 
不 合格 品 的 个 数 , 则 XX,,…,X, 的 分 布 为 4 项 分 布 . 


6. 56.3 狄 利 克 雷 分 布 


定义 468 设 随 机 向 晤 (CX, XX;;, …, XY,) 满 足 


P[ DX = 1 二 1, 且 (X1,X,,…,X, 小 有 概率 密度 函数 
FX 11) 


0 其 它 ， 
其 中 为 正常 数 ,i 二 1,… ,x; 则 (CX,…, 关 ,) 的 分 布 称 为 狭 利 克 攻 
{Dirichlet) 分 布 ; 记 作 人 CX 站 一 DD ry 

在 (0,1) 区 间 上 随机 地 取 x 一 1 个 点 已 ,PP 将 此 
一 1 个 点 依从 小 到 大 的 顺序 记 为 Poy +P ,Pov 记 X: 二 Pw 
一 Po_yrt 一 1] sn; 其 中 Pw 一 0.Pos 一 1; 则 CE,X,) 一 DD,(1， 
1.…，1)， 

性 质 丰 和 .9 rr 的 特征 


。95 。 


册 


(DD) ECX) = 一 = -一 天 一 一 ， 
之 /六 | 1 十 Dr 
i=1 了 一 1 j=1 

Et 一 1， 

(2) covCX KX) = 一 二 一 ， 了 关 矿 

(D7) (2 十] 
kel 生 一 1 


定理 6 6 10 设 玉芝 相互 独立 ,XX 一 二 1 


Y, = Xf Di = ln 
7=] 


,| 天 。 
{Yr ) Dp, 人 2 


。96 。 


时 


7 ”概率 测度 与 积分 


在 本 书 和 的 前 儿 音 中 ,对 随机 事件 ,概率 及 随机 变量 等 一 些 重 要 
的 基本 概念 作 了 较为 直观 的 介绍 ,目的 是 使 实际 工作 者 易于 理解 
掌握 ,不 足 之 处 是 数学 上 不 够 严格 . 本 章 对 概率 论 的 公理 化 体系 的 
若干 基 本 要 点 作 一 概括 介绍 , 它 是 前 苏联 著名 数学 家 科 尔 黄龙 罗 
夫 (KoAMmoropoB) 于 20 世纪 30 年 代 建 立 起 来 的 ， 


7.1 测度 空间 与 概率 空间 


一 个 由 研究 对 象 全 体 构成 的 集合 称 为 样本 空间 ,简称 空间 , 记 
作 旭 .如 中 的 元 素 记 作 w. 

定义 7. 上 1 空间 如 上 的 一 个 非 空子 集 类 有 多 车 满足 条 件 : 

(1) AE.F=AE.F, 

(2) AE FAIE HHA UA ES, 
则 称 多 为 一 个 域 (field) ,又 称 为 代数 (algebra )， 

推论 7,1.2 设 . 芒 为 空间 有 上 的 一 个 域 , 则 

(2) AJEF ,j=12 U 4， EF, Na = 

定 光 7.1.3 设 多 为 吕 上 的 一 个 域 , 且 满足 

A EF j= 1 Ua, = 


则 称 .多 为 一 个 o 域 ,或 o 代数 . 
推论 7.1.4 车. 实 为 一 个 o- 域 , 则 


AEF,I=12> A EY. 


i=1 


。07 -= 


定义 了 ,1.5 空间 吕 与 其 上 的 一 个 域 多 构成 一 个 可 测 室 
人 间 (measurable space) , 记 作 (多 ) ,多 中 的 任 一 元 素 ( 中 的 子 
上 集 ) 称 为 可 测 抠 (measurable set). 

定义 7.1.6 设 翰 ,7) 为 可 测 空 间 ,x 为 定义 在 . 守 上 的 非 负 
(集合 } 函 数 ,满足 : 

(1 (P=0, 

(2) 车 4 人 . 多 ,ma 一 1, 2 pw， 且 44。 一 届 , 当 半天 阅 ， 则 


al U4)= Sca,). 


称 运 为 .多 上 的 测度 (measure), 称 (人 2,.F,p) 为 测度 空间 
{measure space). 

定义 7.1.7 设 王 为 可 测 空 间 《 妇 , 灾 ) 上 的 测度 ,日 PCD) 一 
1, 则 称 己 为 CD, 有 ?上 的 概率 测度 ,(0, 多 ,PP 三 位 一 体 称 为 概率 
空间 . 

定义 7.1.6 中 性 质 {2}) 称 为 测度 的 og 可 加 性 . 

定义 一 个 测度 空间 (或 概率 空间 ) 的 基本 方法 是 先 对 一 个 较 小 
的 集合 类 定义 其 上 的 测度 ,然后 进行 扩张 . 

定义 7.1.8 对 空间 如 中 的 一 个 非 空 子 集 类 x, 车 多 为 一 
个 g 域 ,满足 : 

(1) .多 一 er， 

《2) 对 任 一 包含 .wx 的 go 域名 ', 有 也 ' 浅 也, 则 称 . 匀 为 由 4 
生成 的 e 域 (c field generated from .2 ), 记 作 计 =ole7). 

ol ) 又 称 为 包含 -x 的 最 小 a 域 . 

定义 7.1.9 设 .x 为 实数 空间 R' 上 全 体 堪 开 右 闭 区 间 构 成 
的 子 集 类 ,有 := 一 (ex): 由 .ze 生成 的 = 域 , 则 (CR' 有) 称 为 博 雷 
尔 (Borel) 室 间 , 多 中 的 元 素 (R! 中 的 子 集 ) 称 为 博 雷 尔 集 , 

定义 7.1.10 设 多 和 -er 为 空间 品 上 的 钠 个 子 集 类 ,多 
5 为 79 上 的 测度 ,5 为 胸 上 的 测度 , 若 对 VY AE ww 及 (A) 

» GB. 


二 y(4); 则 称 记 为 vy 由 2 到 上 的 一 个 扩张 (extension). 

定义 7.1.11 设 .x 为 空间 如上 的 子 集 灼 ,p 为 .wr 上 的 测 
度 , 且 存 在 A,€ en 二 32 【)4,= 8 ,pA < n=1, 
2.…，, 则 称 产 为 有限 测度 (ec finit measute)， 

定理 7.1.12 设 

(1) ux 为 空间 吕 上 的 域 ， 

(2) 产 为 -x 上 的 oo 有限 测度 ， 
则 存在 由 .wx 到 ot-w) 上 的 唯一 的 扩张 . 

定理 7.1.12 是 定义 一 些 常 用 的 测度 和 概率 测度 的 依据 . 鲍 
如 ; 设 f(r) 为 RI 上 非 负 可 积 函 数 ,对 任 一 左 开 右 闭 区 间 (a,5j, 定 
义 ple,6D) = | zydz , 则 jy 在 博 雷 尔 空间 (R',.21) 上 的 扩张 
就 是 一 个 测度 ,是 当 | fz)dz = 1 时 ,就 是 一 个 概率 测度 . 

定 浆 7. 1. 13 设 ( 和 有 2, 多;}) 为 可 测 空 间 ,i 一 1,2 yn ;定义 

1) DX OX = 和 
为 2 维 匡 积 室 徊 (produet space}), 简 记 为 x 1 

(2) 对 有 AE 1 定义 A XX As Xe XA, C= { {eo 3 (We, 
iT ; 称 为 起 维和 矩形 , 简 记 为 Xa 

(3) 对 由 所 有 维 算 形 构成 的 子 集 类 .9 ,定义 总 1X 于 XX 
x 为 由 .wr 生成 的 o 域 , 称 为 4 维 生 积 o 域 , 简 记 为 X 2， 


(4) 由 维 乘积 空间 X 9 及 其 上 的 维 采 积 。 域 X 7 构 


成 的 可 测 空 间 X 0,，X :F,) 称 为 n 维 可 测 空间 , 记 作 Xn 
), 
00 


定 兴 了 . 1. 14 设 《 且 ,, 姓 ,为 可 测 空间 :一 1,2 定 六 
1) X 人 一 {Ce rey ss wn 二 1,2,"…), 称 为 无 穷 维 


乘积 空间 ， 
(2) 对 4 后. 入 一 1 人 4: 定 六 
| XA x | X 已] 


| 
一 人 (Ca ee ye a) EE Ai = ly ny 
wj 邱 加 一 下 十 1 十 2 
称 为 另 维 柱 形 集 (cylinder)， 
(3) 记 .ee 为 集合 类 {414 为 n 维 柱 形 入 ,nn 一 1,2,…), 定 多 


义 7 为 由 .vy 生成 的 o 域 .vy), 称 为 无 穷 维 o 域 
C4) 由 无 穷 维 可 测 空 间 Xo. 及 其 上 的 无 穷 维 乘积 “ 域 
汉字. 构成 的 可 测 空间 | Xa， X 多 ,) 称 为 无 穷 维 可 测 空间 ， 


记 作 XX (41 奖 ,). 
n=1 
定 光 7.1.15 设 iR' ;多 !) 为 博 雷 尔 空间 ,定义 
(1) 天 纵情 雷 尔 空间 (本 ,一 (展演 ) X…X (RR, 地 ) 
天 个 
(2》 无 穷 维 博 雷 尔 空 间 (R“ ,< 肠 ”)》 一 〈 民 到) X《RR， 殉 ) 


DC 
对 应 第 1 章 中 的 内 容 , 一 个 有 限 ( 或 无 穷 ) 维 可 测 空间 表示 一 
个 有 限 ( 或 无 穷 ) 多 个 随机 试验 序列 的 样本 空间 . 
定理 7.1.16 设 ( 人 ,Fi 一 1,2,… 为 有 限 或 可 列 无 穷 多 


个 = 有限 测度 空间 , 则 在 乘积 可 测 空间 ( X 2 ，X 多 ,) 上 存在 只 


* 10O0* 


一 的 = 有 限 测度 , 记 作 XX ,满足 


Xl XA) 一 [es 万 ln 一 2 


称 XX 为 乘积 测度 ， ‘XA, x i XA 为 乘积 测度 空间 . 
定义 了 1. 17 设 4Q， .多 ,Pi=1 2,… 为 有 限 或 可 列 无 穷 
多 个 概率 空间 , ( X 关 人， 勾当 XP 称 为 胶 积 概率 室 间 . 


梁 积 概率 空间 对 应 着 独立 的 随机 试验 序列 , 即 对 任 给 正 整数 
?及 任意 好 个 事件 AEBii=1 ,有 
PiAAs A,) 一 站 PMA 


其 中 三 表 示 乘 积 概率 x P， 


7.2 可 测 函 数 与 随机 变量 


定义 7.2.1 设 导 为 空间 机 到 空间 6 的 映射 ,对 2; 的 任 一 
子 集 4, 定 文 呈 中 的 子 集 六 -1CA) 二 {oto€E0,X(m)€ 4)，, 
X104) 称 为 4 的 道 铺 (inverse image). 设 .2 为， 的 一 个 子 集 
类 ,定义 2 中 相应 的 子 集 类 X12) = {X71(4):AE€ 1)， 
下 -Cea) 称 为 -wx 的 道 象 . 

定理 7.2.2 设 四 为 空间 如 到 空间 2; 的 映射 . 

(1) 若 多 ,为 加 上 的 ec 域 , 则 和 IC 罗 0) 为 人 上 的 = 域 ; 

(2) 车 F| 为 上 的 o 域 , 则 祈 ,=1A:AE0,X (4)E 
多 为 各 上 的 5 域 ; 

(3) 对 ,上 的 任 一 子 集 类 ,XX-1(o(27)) 一 oCX IC-er))， 

定 光 7.2.3 设 人 0 多 1) ,(00,, 多 ,) 为 两 个 可 测 空 间 , 久 为 们 
到 只 , 的 映射 . 若 关 (下 性 . 疡 1, 则 称 六 为 可 测 变换 (measurable 
transiormation), 
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定义 7.2.4 设 盛 为 从 可 测 空间 4, 多 ?到 1 维 博 雷 尔 空间 
‘RR!, 禾 !) 的 可 浏 变换 , 则 及 称 为 可 测 国 数 (measurable function); 
当 人 ,多 为 2 维 博 雷 尔 空间 LR") 时 , 称 久 为 维 博 雷 尔 可 测 
函数 ,简称 为 # 维 博 雷 尔 函 数 ， 

定义 7.2.5 设 人 多, 忆 ) 为 一 概率 空间 ,天 为 (全 , ,已 ) 到 
可 维 博 雷 尔 空间 (R" ,多 ?的 可 测 变换 ,rz 一 1,2， "oO, 当 性 一 十 时 
称 蕊 为 随机 变量 (random variable), 当 >1 时 , 称 蕊 为 天 维 随机 
向 量 (n-dimensinal random vector )， 

定 光 7.2.6 对 空间 总 上 的 子 集 4 ,定义 函数 
1， 当 wE 4， 
0， 当 wEA. 
称 I 为 4 的 示 和 性 函数 (indicator function). 

定义 7.2.7 设 可 测 空 间 ( 吕 ,. 多 ?上 的 实 阔 数 和 订 表 为 忌 一 


D614 ,其 中 必 为 正 整数 ,c ,cn 为 实 常数 ,入 EF ,i 一 1,…， 


Tatew) 一 | 


m' 且 Ua 三 旭 , 了 为 4 的 示 性 阔 数 ,1 二 1,… ,zm, 则 六 称 为 简单 


画 数 (simple function). 
推论 7.2.8 简单 函数 是 可 测 函 数 . 
定理 7.2.9 XX 为 非 负 可 测 函 数 的 充分 必要 条 件 为 ,存在 单 
调 非 降 的 简单 函数 列 X,,n 一 1,2,… ,使 得 imX, 一 X， 
推论 7.2.10 设 c 为 常数 , 革 ; 及 /, 叉 ,，,…! 均 为 可 测 空间 人 0， 
多 ?上 的 可 测 函 数 , 则 
(C1) ce 及 ,| 天 | ,成 十 于 千克 XI7Xs 均 为 可 测 函 数 ; 
(2) 和 + 一 max(0X) 与 三 - 一 max(0, 一 下 ) 均 为 可 测 函 数 ; 
(3) lim sup《X.) 与 im inf(X,) 均 为 可 测 函 数 , 故 若 limX。 存 
在 , 则 limX, 亦 为 可 测 函 数 ; 
(4) 设 ( 和 0 入 由 (0; 风 和 (QF ;) 为 三 个 可 测 空 间 , 基 为 
"102. 


有 到 人 多 的 可 测 变换 ,5 为 Cy 到 (3, 六 3) 的 可 
测 变换 , 则 gz) 为 4 史 ) 到 (9 到 四 的 可 沛 变换 ， 

定理 7.2.11 天 为 从 可 测 空间 (如 ,到 ?到 二 维 博 雷 尔 空 间 
《RB") 上 的 可 测 变换 , 当 且 仅 当 美的 x4 个 分 量 分 别 为 {人 2, 久 ;上 
的 可 测 函 数 . 

推论 7.2.12 久 二 (X,, 义 ,,…** ,及 ,) 为 nn 维 随 机 向 量 , 当 且 仅 
当 基 ,,… ,XX, 为 随机 变量 ， 

定理 7.2.13 设 苹 为 由 测度 空间 2, 多 1,p) 到 可 浏 空间 
(fz, 玉 2) 上 的 可 测 变 换 , 则 关 在 (04,. 隐 ,) 上 导出 -- 个 测度 po， 
满足 

(BY = p(X-IBY),Y BE ZF,, 

定义 7.2.14 设 至 为 概率 空间 ( 虽 ,. 沪 ,Py 上 的 x 维 随机 向 
量 ,n 二 1,2. 呈 ,00; 则 正在 (RWB") 上 导出 一 个 概率 测度 下 , 称 为 
互 的 概率 分 布 或 简称 为 分 布 . 

定义 7.2.15 R" 上 满足 焉 述 条 件 的 实 攻 数 下 称 为 关 元 分 布 
函数 : 


《17 lim F(x ,Ty 于 DO, 一 了 "Ts 


(2) lim Frynsat) 一 1 


了 工 ;下 co 


Lik CoE 


(3) lim FT Ty YT se) = 下 


T=ly ns 
{4) 对 任意 的 dh t= ln, 
Fb +) 一 Fb se bi bts "0,) 


十 DS Fb, [i #1 ?位 1 并 sa si 4 站 Ts 
i 


二 (一 17F(la,s 0,.) > 0. 
定理 7.2.16 任 一 "元 分 布 消 数 玉 在 n 维 博 雷 尔 空间 
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(有 2 上 定义 了 一 个 概率 测度 己 , 满 足 如 下 关系 
Pe 六 (air, |) 


=Fbiy be) 一 下 (el 


十 DF bi a bp da bi ) 一 


十 【一 ] 下 (ago 人 二 一 
反之 亦 真 . 

定义 7.2.17 设 {F,|n 汪 1} 为 一 分 布 冰 数 族 , 其 中 下 ,为 x 元 
分 布 函数 ,n= 二 1,2,*…', 且 满足 


lim 下 1 1 一 F(T Ta), 


rl 


Ya 和 {Fn 汪 1) 为 相 容 分 布 函 数 族 (family of 
consistent distribution function). 

定理 7.3.18 科 尔 莫 龙 鹤 夫 (KoaMoropca) 相 窜 性 定理 设 
{F 之] 为 一 相 容 分 布 函数 族 , 则 人 112 关 1} 在 元 穷 维 捕 雷 尔 空 
间 《R”, 罗 ”) 上 唯一 确定 了 一 个 概率 测度 尸 ,使 得 


PUX os] X CX R= hms) 


时 RT We 


7.3 积分 


定义 7.3.1 设 ( 避 ,多 ,为 测度 空间 ,各 为 人, 多 ?上 的 讨 
测 函 数 , 则 和 关于 的 积分 | xd 规定 如 下 ， 
GD) 若 为 非 负 简 单 函 数 ,和 一 a14 ,其 中 44 两 


两 互 不 相交 , 则 
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[xax = Paina); 
(2) 设 三 为 非 负 可 测 函 数 , 若 {X。,n 六 1) 为 单调 上 升 的 非 负 
简单 机 数 ,满足 limXe 一 总 , 则 
jzav 一 lim |X,aps 
(3) 对 一 般 可 测 函 数 , 阁 | dr < oo 或 | dg < cc , 则 
|xax = jx dp — 全 dm 
注 存 上 述 定 义 中 ,C1) 中 非 负 简单 函数 XX 的 表示 方式 不 是 
上 唯一 的 ,但 积分 定义 式 右 端 的 值 是 唯一 确定 的 ;2) 中 积分 定义 式 
右 端的 极限 值 对 满足 条 件 的 不 同 的 简单 函数 列 是 唯一 确定 的 ; 对 
不 满足 条 件 (1)~(3) 的 可 测 函 数 六 ,积分 |Xdy 不 存在 ， 
定义 7.3.2 车 ||Xdx| < , 则 称 了 为 w 可 积 油 数 
tr-integrable function). 
推论 7.3.3 设 久 ,了 为 (人 2,. 玉 ,py 上 可 浏 薄 数 , 则 有 
《T) AK < 0) = 00 < | xdr: 


(2) xlag = 00u(X 2 0) = 0; 
(3) [fxax < fixlar, 
Faxj= -ee| Elan< oo 
(4) hax = p00), [exdy = cjxadure 为 常数 ; 


(C5) CX 十 Ydx 一 |Xdp 二 dr , 当 此 三 个 积分 中 的 任意 
两 个 存在 . 
定义 7.3.4 设 尺 为 概率 空间 (D, 儿 ,P)》 上 的 随机 变量 , 且 
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积分 az | < 一 co , 则 久 的 期 请 (expectation) 为 ECX) = |xdP. 

定理 7.3.5 积分 变换 定理 设 叱 为 由 测度 空间 (0 ,多 ,pe 
到 可 浏 室 间 (人, 多" 的 可 测 变 换 ,y 为 在 . 史 ' 上 的 导出 测度 ( 定 
理 7.2.13),g 为 (2 ,.F' 上 的 可 测 函 数 , 则 

jeaw = |gtX dg 

当 且 仅 当 两 积分 之 一 存在 ， 

定义 7.3.6 设 下 为 二 元 分 布 芍 数 ,P 为 它 在 x 维 博 雷 尔 空 
闻 (RR" ,2") 上 所 决定 的 概率 分 布 . 对 任意 维 博 雷 尔 函 数 了 ， 

| 村 一 [|mae， 

称 为 斯 划 尔 切 斯 CStieltjes) 积 分 ， 

定 兴 了 ,3.7 设立 为 厂 积 测度 空间 (0D X 0 ,Xi X 
ts) 上 的 可 测 函 数 ,对 Y mm 2, 定义 人 上 的 函数 XCw) 一 
有 【on sy te) | cs 己 全 , 称 为 在 hl 的 切口 (section)， 

推论 7.3.8 设 畴 如 (7,3.7) 中 所 定义 ; 基 在 ww 的 切口 
六 ,tws) 是 40,,.F,》 上 的 可 测 函 数 . 

定理 7.3.9 富 比 尼 (Fubini) 定 理 设 i0 ,多 ,pw) ,i 二 1,? 
为 两 个 三 有 限 测度 空间 , 芭 为 狄 积 测度 空间 {多 x nn, .多 XX ,， 
F221X pz} 上 非 负 可 潮 (或 可 积 ) 薄 数 , 对 Y¥ 全, 汪 。 为 x 在 | 的 
切口 , 则 积分 |X。dp 存在 ,上 且 Xi(w) = [Xd 作为 C01 
所) 上 的 函数 是 非 代 可 测 ( 或 ps 可 积 ) 的 , 且 


am X pe) 一 [an 


7.4 测度 的 分 解 


定义 7.4.1 设 苑 为 测度 空间 (92,2 ,wx? 上 积分 存在 的 可 测 
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uA) 一 | Xdp 一 xen, YAEF, 
a 


称 为 苹 甘 于 的 不 定 积 分 (indefinite integral). 

推论 7. 4. 2 设 瑟 满足 定义 (7.4.1) 的 条 件 ,;v 为 卫 关 于 jg 的 
不 定 积分 , 则 

(1L) 对 AE R14 二 避 , 当 上 关 mm, 有 

小 【4 = DA); 

(2) 若 XX 宇 0; 则 v 为 (0,F) 上 的 测度 ; 

(C3) pA)=0>rt 4}=0, 

定义 7.4.3 设 辣 pm 为 可 测 室 间 人 2, 区 ?上 的 两 个 测度 ， 

(1) 若 对 W AE 六 ,pw(A) 一 0=>p4(4) 一 0; 则 称 jy 为 上 & 连续 
的 (Ms-eontinueus) 

(2) 车 存在 NE.F ,使 得 jw CN) 一 0,pa CN) 一 0, 则 称 记 为 所 
奇异 的 (ps-singular). 

由 此 定义 可 知 , 若 pw 为 pi 奇异 的 , 则 jp 为 pr 奇异 的 , 即 任 一 
测度 的 全 部 “质量 ”集中 在 另 一 测度 的 零 测 集 上 . 

定理 7.4.4 勒 贝 客 (Lebesgue) 定 理 设 "“ 和 为 可 测 空 间 
{和 ,上 的 两 个 so 有限 测度 , 则 5 可 以 唯一 地 分 解 为 两 个 测度 
Asdz， 即 

vA) = NA + AA YY AE SF. 

其 中 尺 为 gt 奇 异 的 ,为 上 连续 的 . 

定理 7.4.5 拉 东 - 尼 可 丁 (Radon-Nikodim》 定 理 设 > 和 庆 
为 可 测 空 间 《 吕 ,有 ?上 的 两 个 c 有限 测度 , 则 ;为 上 连续 的 充分 必 
可 条 件 为 存在 一 个 局 ,. 有 ?上 的 非 负 可 测 国 数 g ,使 得 v 为 g 关于 
产 的 不 定 积 分 ,g 在 相差 一 个 x 零 测 集 的 意义 下 是 唯一 确定 的 . 

定义 7.4.6 定理 7.4.5 中 的 g 称 为 vy 关 于 gp 的 拉 东 - 尼 可 丁 
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导数 , 记 为 好 ,因此 


dy 
(4) = | dx YAE TF. 


定理 7.4.7 设 v 和 x 为 可 浏 空间 (有 ,上 的 两 个 o 有限 测 
度 , 且 v 为 4 连续,X 为 9 可 测 函 数 ,|Xdv 存在 , 则 
dy 二 
| xav = | x Ddpy AE 到 
定理 7.4.8 设 vpy 和 4 为 可 测 空间 {人 2,. 宛 }) 上 的 ao 有限 测 
度 , 且 v 为 p 连续 而 4 为 v 连 续 , 则 4 为 连续 , 生 
dA dh 由 
du dy dp 
定理 7.4.9 设 五 为 分 布 函数 , 则 
F 一 A hr, + NF,, | 
其 中 为 非 负 常数 ,i 一 1,2,3， 2 一 ] Fl 为 纯 跳 蚂 分 布 本 数 ， 
Fa 为 连续 而 处 处 不 可 时 的 分 布 函数 ,P 为 绝对 连续 分 布 函 数 , 即 
存在 密度 郴 数 flz) ,使 得 
FC 一 | fedury ze Rn 


7.5 条 件 期 望 与 条 件 概率 


定理 7.5.1 设 久 为 概率 空间 0, 名,P) 上 的 随机 变量 ， 
五 ( 久 ) 存 在 ,Z -为 (8 多 到 可 测 空 间 ( 人 ,多 "> 的 可 测 变换 , 记 已 
为 了 在 罗 ' 上 导出 的 概率 测度 , 则 存在 多 ' 可 测 函 数 g ,使 得 
| XdP = JadP',v BE TF', 
且 g 在 相差 一 个 P' 零 测 集 的 意义 下 唯一 确定 . 
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定义 7.5.2 设立 ,Z 和 gg 满足 定理 7.5.1 中 条 件 , 则 称 g 为 
和 关于 了 的 条 件 期 望 (conditional expectation) , 记 为 五 ( 买 |Z). 对 
Yzxz 和 所 和 由, 记 匹 (和 7 一 z 一 ECz) 称 为 给 定 宛 一 > 时 ,区 的 条 件 
期 望 ， 

定义 7.5.3 设 (,, 罗 ,P) 为 概率 空间 ,4, 情 后 沈 ,Z 为 
{和 0, ) 到 可 测 室 间 人 2 ,多 7 的 可 测 变 换 ， 

C1) 定义 事件 4 关于 2 的 条 件 概率 为 

P(AIZ) = EC |2); 
《2) 定义 事件 4 关于 事件 BB 的 条 件 概率 为 
P(AIB}) = EC |ITa), 

由 于 条 件 期 望 不 具有 可 加 性 ,一 般 的 条 件 概率 已 (417) ,对 
给 定 的 Z 一 >, 作 为 多 .上 的 一 个 集合 函数 ,不 必 是 一 个 概率 测度 . 

定理 7.5.4 在 定义 7.5.3 中 , 若 只 = 及" ,多 一 静 ' 一 1,2， 
;090, 则 PCA1Z} 对 给 定 的 Z=z, 作 为 .7 上 的 (集合 ) 酒 数 是 一 
个 概率 测度 , 称 为 正则 条件 概率 (regujar conditional probability )， 

定理 7.5.5 设 和 和 7 为 概率 空间 0, 多 ,P)? 上 的 两 个 随机 
变量 ,对 Y yER' ,存在 (Ri: ,多 :) 上 的 概率 分 布 已, ,满足 

P,(B) = P(X-IBYIY ~ YY BE 

了 ,(B) 称 为 给 定 了 一 y 时 ,三 的 条 和 件 概率 分 布 . 

定理 7.5.6 设 羡 ,7 为 两 个 随机 变量 ,FC，|») 为 给 定 Y 了 一 y 
时 所 的 条 件 概 率 分 布 荡 数 ,由 

(1) 对 任 一 博 雷 尔 函 数 有 ,有 

EX = = | hdF ery); 
(2) 若 ( 耻 ,了 有 联合 密度 f(z,y), 则 


ECACXIIY = y) — 上 hr Cr | ydz, 


其 中 f(z1y) = f(x,y)/| ”f(z1y)dz , 称 为 给 定 Y 一 y 时 ,X 的 
条 件 概率 密度 
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8 ”随机 变量 列 的 几 种 收敛 性 
8. 1 几 种 收敛 性 的 定义 及 强 弱 关系 


以 下 设 天 , {四 ,;n 演 1} 为 同一 概率 空间 上 的 随机 变量 列 . 
定义 8.1.1 设 对 任 给 e>0, 有 
lm P(X 一 X| 六 日 = 0， 
则 称 { 艾 } 依 概率 收 仇 到 (convergent in probability to 琉 )， 记 为 
limnX。 一 XinP) ,或 一 入 
定义 8.1.2 设 
PUimX, = XX) 一 ]， 
则 称 {X.} 几 乎 处 处 收 全 到 Econvergent to KX almost every 
Where) 记 为 
limX.。 一 (ae )， 或 忆 一 X. 
定义 8.1.3 设 对 某 个 实数 x>0, 有 
limE|X, — X|" = 0, 
则 称 {X,} 依 rr 阶 矩 收 全 到 YX{lconvergent in moment of order r to 
和 ) , 记 为 
limX, 一 六 (1L,) ,或 XX, 一 XX. 
定义 8.1.4 以 和 FF 分别 记 XX 和 X, 的 分 布 函数 ,以 CCF) 
记忆 的 连续 点 的 集合 , 若 
limF, (x) 一 下 (z) x E CCH). 
则 称 和 依 分 布 收 化 到 下 (convergent in distribution to 基 ), 记 为 
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limX, = XCd) ,或 XX. 

注 ”对 依 分 布 收 伍 来 说 ,由 于 仅 与 和 区 , 的 分 布 函 数 有 关 ， 
因此 , 匀 和 {XX,} 不 必 是 同一 概率 空间 上 的 随机 变量 ， 

以 上 4 种 关于 随机 变量 列 的 收 钱 性 之 间 存 在 着 一 定 的 强 骅 
关系 . 

定理 8.1.5 Rx 了 工 - 宙 ， 

上 述 定理 的 道 命 题 不 成 立 . 

例 8.1.6 设 概率 空间 (8,. 多 ,PP》; 人 =[0;,1jw 为 [0,1] 上 
的 博 雷 尔 可 测 集 ,P 为 [0,1] 上 的 勒 风格 测度 ,定义 随机 变量 列 ，; 


1 一 ] ji 
yuta) = | #0€ [7 ,#] 
0， 其它， 
一 1 一 1 2 将 了 :7zyoyra ya ys … 排 成 一 列 ， 
记 为 及, 芒 :,…. 则 容易 验证 
各 一 -0. 
但 POX 发射) 一 1， 


定理 8.1 7 X, 一 > 久 , 对 菜 个 实数 0->X, 一 XX 
二 述 定理 的 道 命 题 不 成 立 ， 
例 8.1.8 设 (Q,. 字 ,PP) 如 例 8.1.6 中 定义 , 令 
Xu) -人 当 w € 11 一 pa 
0， 其 它 . 
则 易于 验证 ;,X, 0, 但 对 任意 :>>0, 有 
EIX, — 0 ~ a-le™ oo。 
定理 8.1.9 XX>X,— xX. 
但 此 定理 的 逆 命 题 不 成 立 . 
例 81.10 设 人 ,多 ,已 如 例 8.1.6 中 所 定义 , 令 
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ea 直 当 w € [o 己 | ， 
0， 其 它 . 
当 n 为 奇数 时 , 令 其 ,一 其 污 为 侦 数 时 ,X= 二 1 一 及 , 则 区, 与 六 同 
分 布 ,因而 一 >X, 但 P(X 一 XI 二 1 一 1. 

{8.1.5) 一 《8.1.10) 说 明 ， 元 乎 处 处 收 化 与 什 收 化 强 于 依 概率 
收 伍 , 依 最 率 收 伍 强 于 依 分 布 收 丝 , 而 几乎 处 处 收敛 与 抢收 生 不 能 
相互 推出 :容易 验证 例 8.1.6 中 太一 >0, 但 P(X 发散 ) 一 1. 在 


例 8.1.8 中 忌 , 二 0, 但 对 Y r>0, 下 | 和 一 0 一 oo， 


8$.2 ”积分 收敛 定理 与 依 矩 收 全 


定理 .2.1 单调 收 全 定理 (monotone convergence theorem } 
设 随机 变 最 列 {X,,n 宇 1) 满足 

(1) 存在 常数 ce, 使 得 已 (Xeco 产 1) 二 1， 

(2) PCX， 单调 非 降 ) 二 1， 
则 

limE(X,) 一 ElimX.). 

引 理 8.2.2 法 图 (Fatou) 引 理 ” 设 随机 变量 列 {Xn 1} 
满足 

(01) 存在 随机 变量 了 ,使 得 已 (已 ,六 YY 一 1 一 192 

《2 ElY|<oo, 
则 Edim inf 和. 存在 , 且 

Etlim inf 天 < lim inf E(X,). 


定理 8. 2.3 控制 收敛 定理 (dominated convergence theorem) 
设 随机 变量 列 {X.,n 社 1} 满 足 
(1) XXX， 
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(2) 存在 随机 变量 Y,EY7Y<<eo ,使 得 
PUX,| EY = 1 = 1,2, 
则 
lim EIX, — X|=0. 
以 下 讨论 由 六 ,>X 导出 X, 一 >X 的 条 件 . 
定义 2.4 设 {X,,n 写 1) 是 随 机 变 基 列 , 关 对 任 给 的 二 0， 
存在 G>0, 使 得 对 任意 事件 4,P(4)< 一 9, 有 
sup| [XX |dP < 
月 
supE |X,| < co， 
则 称 它 是 一 致 可 积 的 Cuniformly integrable)， 
定理 8.2.5 设 {Xas21)} 为 随机 变量 列 , 则 存在 >>0, 使 得 
X, 一 >X, 当 和 且 仅 当 
RX. xX. 
且 {| 区 .|',n 宇 1}) 为 一 至 可 积 的 . 
验证 一 致 可 积 性 的 一 个 准 出 为 
定理 8.2.6 随机 变量 列 {X,,n 实 1} 为 一 致 可 积 的 , 当 且 仅 当 
lim Csup | |[X,|dP) = 0. 


ei 


月 
[li uu] 


利用 一 致 订 积 的 概念 可 将 定理 8. 2. 1 一 8. 2. 3 推广 如 下 : 
定理 8.2.7 推广 的 单调 收敛 定理 ” 设 随机 变量 列 { 避 ,六 
1} 满 足 条 件 
(1) P(X, 单调 非 降 ) 一 1， 
《2) {XX sn 之 1 为 一 致 订 积 的 ， 
则 
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limE(X,) 一 ElimX,) >— °°. 
定理 8.2.8 推广 的 法 图 引 理 ” 设 随机 变量 列 {X,,n 之 1}) 满 
足 条 件 
(1) { 玉 2 ,# 宇 1} 为 一 致 可 积 的 ， 
(2) Ellim infX,) 存 在 ， 
则 
五 (lim infX,) < lim infECX,). 
定理 8. 2.9 推广 的 控制 妆 全 定理” 设 随机 变量 列 {X,,n 之 
1} 满 足 条 件 
(1) X,— ~X, . 
(2) {站 ,nn 宇 1} 为 一 致 可 积 ， 
则 
1 limE|X,. — XI| 一 0. 
定理 8. 2.9 实际 上 是 定理 8.2.5 在 7 二 1 时 的 特例 . 


8. 3 ” 依 概 率 收 伊 与 几乎 处 处 收敛 


8.3.1 0-1 律 


概率 空间 上 的 某 些 事 件 发 生 的 概率 只 可 能 取 0 或 1, 有 关 的 
结论 通称 为 小 1 律 (zero-one law 小 
引 | 理 8.3.1 博 震 尔 - 康 特 利 (Borel-Cantelli) 引 理 ” 设 14,， 


1) 为 事件 列 , 且 VPC4) < co , 则 


Ua,) 一 0， 


引 理 8. 3.1 的 会 义 是 ; 若 SpA,) < co, 则 A sn = 1 ,2 


Pdim sup4,) = P| 


“114， 


至 多 只 能 发 生 有 限 煞 个 ， 
定理 8.3.2 博 香 尔 0-1 律 设 14,,n 之 1}) 为 独立 事件 列 , 则 
Pdim sup4) 一 0 或 1， 


Pd 一 o 或 = oo 
一 1 


定义 .3.3 设 {Xn 宇 1} 为 随机 变量 列 ,定义 {X,} 的 尾 g 域 
《tail o-field) 为 
(oc,j2 


本 


其 中 z(CXE 52 人 为 由 (大 7 中 生成 的 = 域 . 

定义 8.3.4 响 = 域 中 的 事件 称 为 旦 事件 ,关于 尾 c 域 可 测 
的 函数 称 为 尾 函 数 . 

定理 8.3.5 科 和 尔 莫 姜 罗 夫 0-1 律 设 {X;,n 守 1) 为 独立 随 
机 变量 列 , 则 { 屯 } 的 尾 事 件 只 取 概 率 0 或 1， 

推论 8.3.6 设 基 为 独立 随机 变量 列 {XX,,n 实 1} 的 必 函 数 ， 
出 PC(X 一 ce 一 1c 为 常数 . 

定理 8.3.7 设 { 和 sn 六 1)} 为 独立 随机 恋 景 列 , 刚 

(1) lim supX, 与 lim infX, 均 依 概率 ] 为 常数 ， 


(2) 若 忆 .二 和, 则 于 依 概率 1 为 常数 . 
8. 3. 2 ” 依 概 率 收 证 与 几乎 处 处 收 全 


定理 8. 3.8 随机 变量 列 {X,,n 全 1} 依 概率 收 僵 到 某 个 随机 
变量 天, 当 且 仅 当 . 
《1) { 和 的 任 一 子 列 中 有 一 个 子 列 几乎 处 处 收 笋 到 同一 随机 
变量 及; 
当 且 仅 当 
(2) 对 Y s >0, 有 
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lim supP (IX 一 及 ,| 计 £) 二 0, 
定理 8. 3.9 随机 变量 列 { 和 ,am 芝 1} 玫 平 处 处 收 伍 到 某 个 随 
机 变量 厌 , 当 县 仅 当 
(1) 对 任 给 se>>0, 有 


limP( U |X, — X| > e))= 0; 


当 且 仅 当 
《2) lim sup(|X» 一 XI)=0 (lin Py. 


推论 8. 3. 10 设 久 ,了 X,,n 这 1 为 随机 变 基 , 满 足 :对 Y se>0, 有 


Spdx. | < oo, 


则 太 , 一 于 


推论 8.3.11 设 {X.,n 之 1} 为 独立 随机 变量 列 , 则 X, 一 >0， 
当 且 和 仅 当 对 任 给 >>0, 有 


Pplx, [> 
定理 8. 3. 12 设 (XX al } 为 贿 机 变量 列 ,g 为 连续 函数 ， 
则 
XE» KX->g (Xs) 一 8(X)， 
XK, XpgX,) > gOX). 
定理 8.3.13 设 {XX,n 空 1} 为 独立 随机 变量 列 , 记 5. 一 
DXin>1 , 风 5。 几乎 处 处 政 笋 到 某 个 随机 变量 3 , 当 且 仅 当 5， 
让 概率 收 敏 到 5. 
8.3. 3 ”级 数 的 几乎 处 处 收敛 


定理 8.3.14 设 {X,,n 污 1) 为 独立 随机 变量 列 , E(X.) 一 0， 
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天 (2 < co 芝 1. 若 >) 民 COX3) 之 oo , 则 
上 一 人 


YX ae 收敛 ， 


且 
> X，L。 收敛 ， 
此 时 有 加 
El PX) = = PEO, 
引 理 8. 3. 15 设 ( [x ,了 ,4 交 1} 为 两 个 随机 变量 列 , 且 
Lal lim sup{Y， 关 六 ,41 二 0， 则 I 
SYX，a.e. 效 银 局 Ya.e, 收 合 . 


利用 定理 8. 3. 14 及 引 理 8. 3. 15 和 引 理 8. 3. 1 容易 得 到 
定理 8.3.16 科 尔 黄龙 罗 夫 三 级 数 定理 设 {X,,n 字 1} 为 独 


立 随机 变量 列 , 刚 Dx, a.e. 收 敏 , 当 旦 仅 当 下 列 三 条 件 都 成 立 ， 


(1) PC > 1) < oo 
n=1 


{£22 DECK, Tox tan) 收 化 ; 


有一] 


(3) Dex I RE ECK, Tx, Ee | < co。 


科 尔 英 蕊 罗 夫 三 级 数 定理 是 推导 强大 数 定律 的 有 力 工具 . 
推论 8. 3. 17 设 { 玉 ,,n 空 1}) 为 独立 随机 变量 列 ,E(X,) 二 0， 


n 字 1, 刁 DECIx, [Fx, 1>1 十 Xaix, 1 < On, 则 > X, 生 , 已， 
1 


收 往 ， 
推论 8.3. 18 设 {X,,n 斌 1) 为 独立 随机 变量 列 , {a,,n 宇 1) 为 
| 17 。 


常数 列 . 若 0<<a, 志 2, 且 当 1 和 ow 所 2 时 ,E(X,)=0， SEIX, | < 


co , 刚 2 X. a.e、 相 敏 . 


8.4 依 分 布 收敛 


随机 变量 的 依 分 布 收敛 性 愉 与 相应 的 分 布 函 数列 的 收 合 性 有 
关 . 在 本 节 中 ,分 布 函 数 是 指 一 元 分 布 函 数 . 


8. 4. 1 分 布 函 数列 的 弱 收 伊 与 全 收敛 


定义 8.4.1 设 {F,,w 字 1} 为 分 布 耳 数 列 . 
(1) 车 对 下 的 任 一 连续 点 x, 有 
limF, (x) = F(z), 

则 称 {F。.} 弱 收效 (weakly converge}) 到 函数 下. 

记 作 FF 一 >F， 

(2) 车 也 一 > 上 且 FF( 一 20) 一 0,F( 二 00) 一 41; 则 称 {F,} 全 收 
化 (completely converge) 到 了 畏 数 下， 

记 作 FF. 一 F. 

推论 8.4.2 若 请, 一 > 下 , 则 下 为 非 负 单调 非 降 浮 数 ;车 F， 
一 =F, 且 下 为 右 连 续 的 , 则 下 为 分 布 函数 . 

推论 8. 4.3 设 天 ,X.,n 字 1 为 随机 变量 ,下 ,下 ,nn 空 1 为 相应 的 
分 布 函 数 , 则 

和 HOF, sr F. 
例 8. 4. 4 设 P(X,=n) 二 1, 则 天, 有 分 布 函数 
0, 当 不 nn, 
Fx) =. 1, 当 工学 nn 1， 
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显然 .一 m0, 此 时 不 存在 随机 变量 久 , 使 得 区 -人 -和 : 
此 和 锁 说 明 , 分 布 沙 数列 的 弱 收 傅 是 比 随机 变量 的 依 分 布 收 全 
更 广泛 的 概念 . 
定理 8. 4.5 设 {F,,n 这 1} 为 分 布 函 数列 , 则 ,一 > 下 , 当 且 
仅 当 存在 R' 上 的 一 个 稠密 子 集 万 ,使 得 
limF,(x) = F(A) YE 站. 
推论 8.4.6 设 {F,,n 之 1} 为 分 布 阴 数列 , 则 下 ,一 >F, 当 且 
仅 当 对 的 任 一 有 理 数 连 续 点 z 有 limF,(x) = F(x) 
定理 8. 和 4. 了 设 人 X41n 字 1} 为 随机 变量 列 so 为 常数 ,出 
RK 
定理 8.4.8 设 {X,,Yi,2Z,|n 之 1} 为 三 个 随机 变量 列 , 若 
XZ 一 必 , 其 中 久 为 随机 变量 ,4,6 为 常数 , 则 
YR Zar 
定理 8. 4.9 设 记 ,G,F,,n 之 1 为 分 布 函数 . 车 记 一 *F, 且 存 
在 实数 列 {a,>0,6.,n 主 1) 使 得 ,Casz 十 5 一 G(x), 则 存在 常 
数 4 之 0 和 ,使 得 G(x) 一 Far 二 6), 且 lima, 二 a ,limb, 一 妈 
推论 8. 4. 10 设 {F,,Gn 主 1) 为 分 布 炒 数列 ,下 ,G 为 非 退 化 
分 布 函数 ,!a 0,a 0 Baz1) 为 常数 列 . 车 
Far 十 名》 ~ Fx), 


且 Faz + PB)— > Gr), 
则 GCCz) 一 已 (ax 十) 其 中 
他 一 tim| 和 | 0, 
nm ns 
b ~ lim (名 一 如) 
Fi [7 
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引 理 8. 4. 11 险 利 -布雷 (Helly-Bray) 引 理 ” 设 {FF,,n 实 1} 为 分 


布 函数 列 ,g 为 连续 实 酉 数 , 下 ,一 > 下 , 则 对 下 的 任意 两 个 连续 点 a 
和 56 有 


wmf er. = fen 

定理 8. 4. 12 设 iF,,n 字 1) 为 分 布 函 数列 ,g 为 连续 函数 , 则 

(DF 一 >F, 且 g 有 界 >lim| gdF, = | gdF. 

OW FF lm ee) = o> lnm) ed =| edr. 

定义 8. 4. 13 设 {F,,n 之 1) 为 分 布 函 数列 ,g 为 连续 函数 , 若 
lim [ sup | ig lr) 1dF,(z)| 一 0， 


[Ll#*|>u] 


则 称 g 为 关于 {F) 一 致 可 积 的 ， 
定理 8. 4. 14 ” 设 { 忆 ,六 1} 为 分 布 函数 列 ,g 为 连续 函数 , 若 


F. 一 >F 且 & 关 于 {F,} 一 致 可 积 , 则 | eldP< co , 且 


lim|~ gdF, 一 三 gdF. 

定理 8. 4. 15 设 {F,,n 这 1} 为 分 布 函数 列 , 则 

F,—*F. 
当 且 仪 当 , 对 任 一 有 界 连 续 务 数 g 有 
im 六 gdF, = gdr. 
定理 8. 4. 16 设 人 8,,n 宇 1) 为 分 布 函数 列 , 满 足 
tm rdF (Cx) 一 ai 一 1] 2 
且 {fax 汰 涵 1} 瞧 一 地 决定 一 个 分 布 果 数 下 ,使 得 ax 一 | raece)， 
此 一 二 2 由 
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FF. 
定理 8. 4. 17 设 分 布 蚂 数列 {FF,,n 斌 ]} 全 路 敦 到 下 ,有 旦 对 下 
的 任 -~- 不 连续 点 x 有 下 ,x 土 ) 一 Fzr 土 ) 则 {FE,}) 在 有 R' 上 一 歼 收 
化 到 二. 
推论 8. 4. 18 设 FF, 一 >F, 且 下 连续 , 则 下 , 一 致 收 合 到 F. 


3.4. 2 分 布 函 数 的 拓扑 性 质 


定理 8. 4. 19 ”任意 分 布 另 数 的 无 穷 族 一 定 存 在 一 个 弱 收 黎 子 
列 . 
此 定理 的 结论 称 为 分 布 卫 数 族 的 弱 紧 性 (weak 
compactness )， 
定义 8.4 20 设 玉 ,G 为 两 个 分 布 函 数 ,它们 之 间 的 距离 为 
diF,G] 一 sup [F(z) — G(x), 
定理 8. 4. 21 分 布 函 数列 {F,} 金 收 合 到 分 布 函 数 玉 , 当 生 习 
当 limd[ F,,F |=0. 
定 尽 8 4.22 车 {FF,} 的 任 一 子 列 有 一 个 全 收 合子 列 , 则 分 布 
函数 的 无 穷 族 {5} 称 为 是 金 紧 的 (completely compact). 
定义 8.4.23 若 
lim sup{1 — F(a) + F(a)} = 0, 
则 分 布 阔 族 {F,} 称 为 是 紧密 的 (tight). 
定理 8. 4. 24 分 布 应 数列 {上 ,x 汪 1} 为 全 紧 的 ; 当 且 仅 当 {,} 
为 紧密 的 . 
推论 8. 4. 25 分 布 函 数列 {F,,n 实 1} 全 收 钱 , 当 且 仅 当 它 的 任 
一 子 列 有 一 个 子 列 全 收 束 到 同一 个 极限 函数 . 


8. 4.3 分 布 函 数列 的 全 收 伍 与 特征 函数 列 的 收敛 性 


定理 8. 4. 36 设 { 忆 21 为 分 布 函数 列 , 相 应 的 特征 函数 列 
* 12]* 


为 {有 nn 守 1}. 


(1) F, —+F=> 对 Y T>0, 
limg.t) 一 JHE) 在 | 所 TT 圭一 致 ， 


其 中 8 为 F 的 特征 函数 . 
(2) 着 lim& 一 9,9 和 三 口 点 连续 , 则 为 某 个 分 布 函 数 F 的 特 


征 天数, 且 
FF. 
推论 8. 4. 27 设 下 ,Fn 字 1 为 分 布 函 数 ,g,m ,nn 宇 1 为 相应 的 
特征 岗 数 , 则 


了 — Fg 一 一 包 
定理 8. 4. 38 设 { 世 ,2a 闵 1) 为 独立 随机 变量 列 ，S. 一 =- DX, 
na 一 1,2,…， 则 S, 依 分 布 收 合 , 当 且 仅 当 存 在 随机 变量 5， 使 得 
5,.—s. 
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9 大 数 定 律 
9. 1 独立 同 分 布 随机 变量 列 的 大 数 定律 


在 1.2.2 中 普 介 绍 了 频率 稳定 性 这 一 事实 , 即 当 多 次 互 不 影 
响 地 重复 某 一 随机 试验 时 , 任 一 指定 事件 4 发 生 的 频率 稳定 地 趋 
近 于 某 一 定 值 . 这 个 定 值 可 解释 为 事件 4 发 生 的 概率 . 用 随机 变 


量 的 形式 表示 , 记 
1， 当 第 ;次 试验 4 发生， 
X, 一 . 
: | 当 第 ; 次 试验 4 不 发 生 ， (9. 1) 


E 一 了] 
5. 二 DX,, n= lod {9. 2) 


则 5S,/n 为 前 = 次 试验 中 4 发 生 的 频率 . 因此 5,/n 稳定 地 趋向 于 
某 一 定 值 p. 而 这 个 训 就 应 该 是 A 发 生 的 概率 . 

伯 努 利 在 1713 年 首先 给 出 了 频率 稳定 性 的 一 种 数学 表示 方 
法 ,并 证 明了 结论 . 这 是 一 系列 大 数 定律 daw of large number) 的 
结论 中 的 第 一 个 . 

定理 9.1.1 伯 努 利 大 数 定律 ”在 一 个 成功” 概率 为 p 的 伯 努 
利 试验 系列 中 ,XX.,Swn 空 1 如 式 (9.1) 和 (9.2) 所 定义 , 则 对 任 给 
的 正 数 & 和 5, 存 在 正 整 数 N, 当 n>N 时 ,有 


(| 


Ee 


< 人， 
或 等 价 地 
P| -p<e)>1-2 
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伯 努 利 天 数 定律 实际 上 是 说 2 -上 A. 这 就 既 给 出 了 频率 稳 
定性 的 一 种 数学 表达 形式 又 肯定 了 它 的 真实 性 . 
博 雷 尔 研究 了 频率 稳定 性 的 另 一 种 数学 表达 形式 ,并 得 出 了 
比 伯 努 利 大 数 定律 更 强 的 结论 . 
定理 9.1.2 博 雷 尔 强大 数 定律 ”在 一 个 “成 功 "概率 为 的 无 
穷 伯 努 利 试验 序列 中 , 叉 ,,S,,n 实 1 如 (9.1) 和 (9.2) 所 定义 , 则 
Plim 守 一 p 一 1, 


博 雷 尔 大 数 定 律 给 出 了 守 。p 的 结论 . 由 于 ae. 收敛 是 比 


依 概 率 收 化 更 强 ( 见 8.1.5). 因此 这 一 结果 被 称 为 醒 震 尔 强大 数 
定律 (strong jaw of large number)， 

以 上 两 个 定理 是 关于 独立 1 随机 变量 列 的 部 分 和 5, 与 4 
之 比 的 收 钱 性 的 结论 . 推广 之 ,就 得 到 一 般 的 大 数 定律 . 

定义 9.13 设 {(Ea 之 1) 为 随机 变量 列 ,部 分 和 3, = 


Xsn 一 1,2，…， 若 存在 常数 列 {favvz>1) ,使 得 
G) 学 一 oo 一 -0, 则 称 大 数 定律 成 立 


(2) 至 一 w 二 sr0, 则 称 强大 数 定律 成 立 . 

显然 , 强 天 数 定律 成 立 则 大 数 定 律 成 立 , 因此 ,大 数 定律 又 称 
为 弱 大 数 定 律 (weak law of large number). 

下 面 介绍 对 独立 问 分 布 随机 变量 列 大 数 定律 成 立 的 一 些 
结论 ， 

定理 9.1.4 科 尔 黄龙 罗 夫 强大 数 定律 设 {X,:n 宇 1} 为 独 
立 同 分 布 随机 变量 列 , 5, 一 了 XX,, 4 一 1,2，,…, 则 存在 常数 列 (a,} 


使 得 3 一 a 守 0, 当 且 仅 当 1EXi|<<o0, 此 时 可 取 4. 二 EXi,n 一 
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] 2, 
科 尔 莫 长 罗 夫 强大 数 定律 的 - :个 直接 应 用 是 证 明 格 里 文科 
(NBeHkoy 定 理 ， 

定理 9.1.5 设 {Xozz21} 为 独立 同 分 布 随机 变量 列 ,$S, 一 
DE 一 ly, 车 EX 二 十 22, 则 


有 局- 
3 一 ”十 c， 
ni 


对 弱 太 数 定律 ,一 阶 答 的 存在 是 过 强 的 条 件 . 
引 理 .1.6 随机 变量 X 若 有 腿 期 望 (|15XI<c) ,出 
limnP(X| > n) = 0. 


定理 外 1.7 费 勒 (Feller) 定 理 设 {XX,,n 空 1) 为 独立 同 分 布 
随机 变量 列 ，S, 一 >) X, ,n 一 1,2,…, 则 存在 常数 列 {a.,n 渤 1) 使 


得 (Sm 一 au 一 -0, 当 且 仅 当 limnP( |Xi| > 由 = 0 ,此 时 可 取 
a = EX nan) nm 1 2 

当 部 分 和 8, 取 随 机 下 标 时 ,有 

定理 9.1.8 设 {1X,,n 宇 1} 为 独立 同 分 布 随 和 机 变量 列 ， 


nP(XI|>) 一 0,{T, sn 之 1) 为 一 正 整 值 随机 变量 列 ,TT,/n 一 >c， 
Tu 
< 为 正常 数 ,定义 S7, 一 2); , 则 存在 常数 列 {a,) ,使 得 


卫 
《Sr /1.) — a, ——» 0, 


其 中 hp 可 取 ECXTix em) yA 二 1 12 
定理 9.1.9 设 {X,,n 宇 1} 为 独立 疝 分 布 随 机 变量 询 , | EX,| 


<coi {了 ,wn 之 1} 为 一 正 整 信和 随机 变量 列 ,T, 一 oo, 则 
Sr /TD, TEX. 
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关于 独立 不 同 分 布 随机 变量 列 的 大 数 定律 在 节 9. 2 中 叙述 ， 
它 是 稳定 性 的 一 个 特例 ， 


9.2 随机 变量 和 的 稳定 性 


定 尽 多 2.1 设 { 衬 寺 为 随机 变量 列 , 若 存 在 常数 列 {e， 


2, 满 是 ( 思 一)/as 0( 或 (T, 一 5B)/as 一 =0), 则 称 
{小 对 中 心 化 常数 全 .} 与 标准 化 常数 ta.} 具 有 强 稳 定性 (或 弱 稳 
定性 ). 

稳定 性 (stability ) 是 一 个 比 大 数 定律 更 一 般 的 概念 , 从 定义 中 
可 见 , 稳 定性 间 题 与 中 心 化 常数 和 标准 化 常数 的 选取 有 关 . 

定理 9.2.2 设 {,,n 衬 1) 为 随机 变量 列 ,m(T,) 为 工 ,的 中 
位 数 ,x 二 1,2,…, 册 {TT,} 关 于 某 中 心 化 常数 {5.} 和 标准 化 常数 
{a,} 上 其 有 强 稳 定性 {或 弱 稳 定性 ), 当 上 且 仅 当 人 {,} 关 于 中 心 化 常数 
{m(7,)} 和 标准 化 常数 {a,} 具 有 强 稳 定性 (或 弱 稳 定性 ), 且 此 时 
必 有 有 


lim tb, 一 了 (Te = 0. 

此 定理 说 明 , 在 中 心 化 常数 的 选取 中 ,了 T, 的 中 位 数 mT.) 是 
当然 的 收 选 者 . 另 一 个 重要 事实 是 :在 稳定 性 问题 中 ,总 可 假定 随 
机 变 大 了, 为 对 称 的 . 

定 久 多 2.3 设 了 为 随机 变量 ,7 了" 是 与 了 相互 独 立 且 同 分 布 
的 随机 变量 ,随机 变量 富 == 人 一 T', 称 为 了 的 对 称 化 
(symmetrization). 

定理 9.2.4 设 {T,,n 之 1} 为 随机 变量 列 , (7;,n 之 1 为 {了 ,) 
的 对 称 化 . 则 {7,} 美 于 中 心 化 常数 列 {56.} 和 标准 化 常数 列 {a:} 有 
强 ( 或 弱 ) 稳 定性 , 当 且 仅 当 17%,n 写 1} 关 于 中 心 化 常数 0 和 标准 化 
常数 列 {a,} 有 强 ( 或 弱 ) 稳 定性 . 
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闫 于 标准 化 常数 ,首先 应 指出 它 的 存在 性 是 有 保证 的 . 设 
{ 人 区 1 为 任 一 随机 恋 量 列 , 由 定理 9. 2.4, 不 妨 设 1 na 之 1 六 
对 称 随机 变量 列 , 取 a, 之 0,as 王 0, 使 得 


本 IT 将 呈 | 过 2 如 一 1 20- 


Br 


由 引 理 8. 3. 1 易 知 ,T, /a 一 > 0. 

因此 ,关键 的 问题 是 要 选取 适当 的 中 心 化 常数 列 {a.} ,使 得 a 
区 向 于 无 穷 的 速度 尽 可 能 缓慢 . 以 下 集中 讨论 独立 随机 变量 和 的 
稳定 性 结果 . 首先 ,对 独立 同 分 布 随 机 变量 的 和 有 
定理 9.2.5 设 {%,,n 汪 1} 为 独立 同 分 布 随机 变 基 列 , 人 = 


DX sn = 12 , 则 存在 六 所 027 及 党 数列 ! 人 ,使 得 59。 一 
1 


bj) /nr 一 0 的 充分 必要 条 件 是 姜 |X | 天 co 此 时 ; 当 0 之 r 之 1， 
可 取 5 二 0; 当 1 所 7 之 2, 可 取 二 一 nEXI. 

在 此 定理 中 , 当 r 二 1 时, 即 为 科 尔 莫 龙 罗 夫 强大 数 定律 , 当 
1<r<2 时 ,给 出 了 比 强大 数 定律 更 为 精细 的 结果 . 

定理 9.2.6 设 {Xa 之 1 为 独立 同 分 布 随机 变量 列 , $. 二 


Ka 一 1,2.…. 设 0 过 fr 之 1 或 1 所 7r 之 2, 是 EX 二 0, 则 下 列 两 
个 结论 必 成 并 一 个 : 

C1) Pllim{ 8,/nt) =lim( Xm ) =—0) =1. 

《2) Pl lim supl |S, | /nt ) =tim supl |X, | /nt) 一 co] 一 1 

此 定理 说 明 , 对 独立 同 分 布 随 机 变量 列 {X,} ,其 部 分 和 3, 与 
及 , 有 相同 的 振 萝 幅度 . 

定理 9.2.7 设 {K;n 这 1} 为 独立 同 分 布 随 机 变 基 列 ， 
0 ECRI) < co,S, = YX 7 一 1, 2 则 对 任 一 实数 列 
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二 2 六 1 有 
Pllim sup|s, 一 总 | /nt 一 co j 一 1. 
此 定理 指出 ,独立 同 分 布 随机 变量 的 部 分 和 $, 图 绕 任 一 中 心 


化 常数 列 振 落 的 幅度 的 阶 总 志高 于 n3, 更 精细 的 结果 是 重 对 数 律 
{定理 9. 3. 1). 
关于 独立 不 同 分 布 随机 变 上 其 列 的 强 稳 定性 有 


定理 9.2.8 设 (X,, 之 为 独立 随机 变量 列 , S. 一 了 DX， 


二 1 ,29 sn 2 1} 为 两 个 正常 数列 # 术 hco,0<a<<2, 且 
当 1 所 之 2 持 ,EX, 二 0. 则 当 


PENX /ar < oo 
时 ,有 
aa 二 0. 
推论 9. 2. 9 科 和 尔 葛 戈 罗 夫 推 论 ” 设 1X.,n3z11 为 独立 随机 
变量 列 , S, 一 > X， 则 当 


SK) /nm < oo 
时 ,有 
(5, 一 本 Sm 一 0. 
关于 独立 随机 变量 的 弱 稳 定性 有 
定理 9.2.10 设 {Xsn 之 1) 为 独立 随机 变量 列 , S. 一 2X;， 


二 12.3 {an 这 1} 为 正常 数列 ,as 和 20, 则 5,/a。 一 > 0, 当 
且 仅 当下 列 三 条 件 同 时 成 立 . 


nr 


C1) lim SO POR,| 次 ao) 一 0. 
=| 
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(2) lim 一 DECX Tx es,:) = 0. 
WD Mn j=1 


(3) lim 点 DX) = 0. 
Li El i=] 


9.3 重 对 数 律 


设 1X,sn 六 1} 为 独立 同 分 布 随机 变量 列 ,0< 之 CX?) < 之 co, 则 根 
据 定理 和.2.5 知 ,部 分 和 5, 围绕 中 心 化 党 数据 荔 的 幅度 的 阶 小 于 
zf,0<r<2. 而 定理 9. 2.7 又 指出 这 种 据 荡 幅度 的 阶 总 大 于 nn. 
进一步 的 问题 是 ;这 种 振荡 幅度 的 “精确 秆 ”是 什么 ?一 些 称 为 重 对 
数 律 (law of iterated logarithm) 的 结论 回答 了 这 个 问题 . 

定理 9.3.1 了 哈 特 曼 - 文 特 纳 尔 (Hartman-Wintner) 重 对 数 律 
设 { 玉 ,nn 六 1) 为 独立 同 分 布 随机 变量 列 ， 

EX = 0,0 < E(X) < oo0,8, 一 oa = 1 
则 

Pllim sup[S,/(nozlog logcme2]) 寺 | 一 v2) 二 ]， 

其 中 吧 一 严 (X 们 ,log log 是 双重 自然 对 数 . 

推论 9.3.2 在 上 述 定理 的 条 件 和 记号 下 有 

Pilim inf[ su/ (no’log logcac2]) 二 |] 一 一 v2}=1. 

定理 9. 3. 1 重 对 数 律 说 明 , 对 非 退化 的 独立 同 分 布 随机 变量 
列 { 怠 ,) 只 要 卫 阶 征 宕 一 下 2 有 限 { 不 妨 设 看 二 1), 则 部 分 和 5， 
围绕 中 心 化 常数 振荡 幅度 为 (2nlog logn)7. 更 确切 地 说 ,对 任意 小 
的 正 数 ,5S, 一 ES, 与 (2nlog logn)3 之 比 最 多 只 有 有 了 根 多 次 大 于 
1 十 或 小 于 一 人 1 十 8) 而 有 无 穷 多 次 天 于 ] 一 ,有 无 穷 多 次 小 于 
— (1—8). 
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对 独立 不 同 分 布 的 随机 变量 列 有 
定理 9.3.3 科 尔 莫 蕊 罗 夫 重 对 数 律 ” 设 {X,,n 空 1} 为 独立 
随机 变量 列 , (X,Y =0,0 C=—=E(X) on os 12, 机 记 So: 一 


Dn 一 1,2. . 设 5:>o0, 且 存在 正常 数列 {K,) ,满足 ,一 0， 
使 得 
POX,| < KS.(log logS,) 3) = 1,n = 1,2,", 
则 | 
Pllim sup[S,/ (2Stlog logSi)1] = 1) = 1， 
Ptlim inf[S,/(2Stlog logSi)#]—— 1)= 1. 
定理 9.3.4 设 {X,n 守 1} 为 独立 随机 变量 列 , CX.) 一 0， 


ECRI) Lon, 5 一 >) E(X?) -> oo , 且 下 述 三 条 件 成 立 ; 
r 一 1 


(1) SIPOX,| > 65,(log logS3 六 )》 < co 对 某 个 3 >>0， 


可 一 】 


(2) Sr >) 本 | XFLL:x 08dog lors?y-+1 | -> 0 对 Y 二 > 0， 


1 一 了 
《37》 > LS:(log 1ogS3)] EL Xes, on lgs23 | og ss 和 | 
1 
< CD 对 时 E D0D, 
则 


P lim sup -一 :一 一 -~ a 
Ss, Vlog logS: 


P lim if 一 一 一 一 《了 |- 1. 
S, Vlog logss 
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10 中心 极限 定理 
10.1 古典 中 心 极 限定 理 


10. 1.1” 伯 努 利 试验 序列 的 中 心 极 限定 理 


在 概率 论 发 展 的 早期 , 伯 努 利 试验 序列 是 重要 的 研究 对 每 ,而 
二 项 分 布 作为 重 伯 努 利 试 验 序列 中 “成 功 ” 次 数 的 分 布 , 它 的 性 
质 得 到 了 仔细 的 研究 . 继 伯 努 利于 1713 年 得 到 了 以 他 的 名 字 命 名 
的 大 数 定律 (9.1.1) 之 后 , 棣 莫 弗 (De Moivre) 和 拉 普 拉 斯 
《Laplace) 从 近似 计算 二 项 分 布 的 概率 出 发 ,得 到 了 第 一 个 中 心 极 
限定 理 fcentral limit theorem). 

定理 10. 1.1 棣 莫 弗 - 拉 普 拉 斯 中 心 航 限定 理 ” 设 随机 变量 
SB 0 过 Tp1l 二 1 ,2 ; 则 对 任何 实数 x 有 


hy 可 
limP| Br), 
a | vnpll oe p) | 

其 中 B(x) = 上 |”e-Yqu .为 标准 正 态 分 布 的 分 布 函 数 . 
Vr 


定理 10, 1. 1 又 称 为 积分 极限 定理 . 
定理 10. 1. 2 局 部 中 心 极限 定理 ” 设 随机 变量 5 ~B (np)， 
0<p 之 1,n 二 1.2,…, 设 k=kCn) z= Enp)/ [np(l—p) 1, 则 
(1) 若 当 .noo 时 ,zi 恒 属 于 有 限 区 间 [a,5j, 就 有 
jm PCS.。== &) -1 一 致 ， 
~ [nptll 一 Pp) 这 (Cs 


了 二 1 e- 玉 ，; 坊 rt _ 
其 中 gx) - 志 为 标准 正春 分 布 的 密度 
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《2 若 rmtf-e0, 当 no 出 
(9S, = &) 1 一 4 Blzrl’ . 
fnpei — py lpr) 下 A wn 

其 中 4,8 和 C 为 与 n 无 关 的 常数 

在 定理 10, 1. 1 中 ,考虑 的 是 标准 化 的 5, 在 固定 端点 的 区 间 
(一 coz] 内 的 概率 的 极限 , 当 区 间 端 点 z 也 随 = 变 化 是 趋 于 十 co 
时 ,有 

定理 10.1.3 设 随 机 蛮 量 $, 一 Ba,p),0<p<1oa 一 1,2， 
为 常数 列 , 当 moo 时 ,ro 一 covzon 0, 则 


pl So" > 
1 wrap 一 py | 
lnm 一 1， 
他 一 1 — Bix.) 


此 定理 说 明 , 当 x, 新 向 于 十 吕 的 速度 低 于 地 的 阶 时 ,标准 化 
的 S。 超 过 zc; 的 概率 与 (1 一 别 (zx,)) 是 等 价 的 无 穷 小 . 进一步 还 可 
将 无 穷 小 量 (1 一 下 (xz.)) 表 为 标准 正 态 密度 pp 的 形式 ， 


引 理 10.1.4 设 wz) 二 le- 了 ,$B(z) 一 上 pyda， 则 


w 2 
(1) 对 xz>>0, 有 
wz) < 1 Bx) < TA). 
0 BDV)r 
Dm gl 


由 510. 1. 3? 和 (人 10. 1.4) 便 有 
推论 10. 1.5 设 随 机 变量 S,~Btn,p) ,0 之 p 之 1,n 二 1 ,2， 


数列 {zx,) 满 是: 一 00 ,zn 了 0, 当 nn 一 oo; 出 PCS,>>np 十 
x v 太 (TI 有) 与 二 r(z) 为 等 价 无 穷 小 


泊 松 从 另 一 个 角度 考 虚 了 二 项 分 布 的 极限 . 他 研究 一 系列 二 
项 分 布 Btn,p) ;其 中 p, 随 x 变化 的 情形 . 
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定理 10.3.6 泊 松 极限 定理 设 随 视 变 量 5S,~B0,p.),n 一 
1 ,2 车 存在 正常 数 4A, 使 得 npa 庆 A sy 当 nc0; 则 对 给 定 的 正 整 
数 吉 ,有 

limP(S, =—A) ~ Ee 

棣 莫 费 - 拉 普 拉 斯 中 心 极限 定理 和 泊 松 极限 定理 在 计算 二 项 
概率 分 布 中 有 重要 应 用 . 另外 ,它们 又 是 进行 一 系列 更 为 深刻 的 研 
究 的 开端 ， 
10.1.2 古典 中 心 梳 限 问题 


将 定理 10. 1. 1 的 形式 改变 -~ 下 ,可 得 到 一 个 等 价 的 表述 ; 设 
{X,; 这 1 为 独立 同 分 布 随 机 变 基 列 ,P(X) 一 1) 一 p= 二 1 一 P(X 一 


0), 则 $, 一 六 和 满足 


(S, — ES,)/o(S) — > NGO,1). (10. 1) 

推广 到 一 般 的 随机 变量 列 , 就 得 到 一 般 的 中 心 极限 定理 成 立 
的 定义 . 

定 光 10.1.7 设 {5,1n 这 1) 为 随机 变量 列 , 若 式 (10.1) 式 成 
立 . 则 称 对 随机 变量 列 {3.) 中心 极限 定理 成 立 . 

所 谓 十 典 中心 极 限 问 题 ,就 是 限于 研究 独立 随机 变量 列 的 部 
分 和 的 中 心 极限 定理 . 在 定义 10. 1.7 中 ,ES, 和 50 分 别称 为 中 
心 化 常数 和 标准 化 常数 , 由 于 极限 分 布 限定 是 N(0,1), 对 其 它 的 
中 心 化 常数 和 标准 化 常数 有 比较 简单 的 结论 . 

推论 10. 1.8 设 15,,n 汪 1) 为 随机 变量 ,5<oo0, 关 存在 常 
数列 (Arn 宇 11 和 1B, 计 0,n 沪 1}， 


二 
(rE TT A EB, 一 NCO,1), 
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则 有 


lim 人) = 1, 且 lim 4 一 上。 _ 0 


定理 10.19 设 iX,,n 之 1} 为 独立 同 分 布 随机 变量 列 , 记 
一 吾 和 , 呈 一 二 (和 )， 有 0<e2<co， S, 一 和 sn 一 12， 央 


(S. 一 DA Vg yr NCO0,1). 
定理 10. 1. 1 是 此 定理 的 ~… 个 特例 . 对 独立 不 同 分 布 的 随机 变 
量 列 有 
定理 10. 1. 如 李 雅 普 诺 夫 (Liapunov) 定 理 设 {X,,n 空 1) 为 
独立 随机 变量 列 , 存 在 8S>0, 使 得 殖 | 其 .<ooya 一 1 2 记 


5 De, TH SEIX, EX. 荐 [,/S, 0, 当 am 
0, 则 
(8, — ES,)/S, — NC0,1). 
推论 10. 1.11 设 { 六 ,nn 主 1} 为 独 了 并 随机 变量 列 , 存 在 常数 


c>0, 使 得 已 (| 飞 | 雪 ec 一 1 一 1 2 记 3, 一 D5 = 
r=1 


> oO (KX) , 则 车 So 一 co 就 有 


(S, — ES.)/S, 一 NC0,1). 
比 李 雅 普 诺 去 定理 葛 一 般 的 结果 是 如 下 定理 . 
定理 10. 1. 12 由 利 - 埃 森 (Berry-Esseen) 定 理 讶 {Xi,n 守 1} 
为 独立 随机 变量 列 , 郑 在 E00,1], 司 得 EX,|:< 之 oo0,S2 和 
(如 定理 10. 1. 10 中 所 定义 ), 则 存在 一 个 私 依 束 于 的 正常 
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数 cs, 使 得 


P| 吉之 | 


一 zj 一 ez) 和 ol | 人 


sup 


此 不 等 式 的 右 端 常 称 为 由 利 - 埃 森 界 , 可 用 来 估计 渐 近 正 态 的 
一 致 速度 . 特别 当 {X,}) 为 独立 同 分 布 且 =1 时 , 贝 科 - 埃 森 界 是 
2 二 阶 的 . 

李 雅 普 诺 夫 定 理 的 一 个 主要 缺点 是 要 求 高 于 二 阶 的 掩 存在 且 
有 限 . 林 德 风格 (Lindeberg} 首 先 给 出 了 古典 中 心 极限 定理 成 立 的 
一 个 重要 的 充分 条 件 . 

引 理 10.1.13 设 {X.in 守 1} 为 独立 随机 变量 列 , EX 一 0， 


ECX C0, 中 一 DE(X?) sn 二 1.…, 记 XX, 的 分 布 函 数 为 P,， 
则 下 列 二 条 件 等 价 ， 
(1) im 2 | JredPz) 一 0， 对 Ye> 0， 


(2) a dF) 一 0， 对 Ye 
nt | 5 


定义 10.1.14 设 独 立 随机 变量 别 {X,,n 之 1} 洪 足 引 理 
10. 1. 13 中 的 条 件 , 则 称 灯 德 风 烙 (Lindeberg) 厅 件 成 立 ， 

定理 10.1.15 设 独立 随机 变量 列 {X,,n 之 1} 满 足 林 德 贝 格 
条 件 , 则 中 心 极限 定理 成 立 . 

费 勤 证 明了 ;对 独立 随机 变量 列 作 一 些 合理 的 限制 后 , 林 德 贝 
格 条 件 还 是 中 心 极限 定理 成 立 的 一 个 必要 条 件 (定理 10. 1. 19). 

31l 理 10.1.16 设 {X,,n 实 1) 为 独立 随机 变量 列 ,@(X,)<< 


oo 于 一 ] 2 : 记 和 一 DD = 1:2,.…, 下 列 两 条 件 等 价 ， 


.oh 
S32 


(C1) lims? 一 ,lim| max 一 了 
em -co ] 


"35° 


ons = in) ~ 0 

定义 10.1.17 设 独 立 随机 变量 列 {X,,n 之 1) 满 足 引 理 
10. 1. 16 中 的 杂 件 , 则 称 一 致 渐 近 可 忽略 (uniformjy asymptotic 
negligible) 条 件 成 立 . 

一 致 渐 近 可 忽略 条 件 的 会 义 是 ; 当 x 充分 大 时 ,部 分 和 5, 的 
方差 应 充分 太 , 而 每 个 XX; 在 都 分 和 5 中 所 占 的 比重 充分 小 . 这 就 
避免 了 一 些 最 平凡 的 情形 ,使 得 所 论 内 容 不 至 流 于 空 泛 . 例如 , 容 
易 证 明 

定理 10.1.18 对 独立 随机 变量 列 {X,,n 守 1} 阁 5S: 一 
2 一 c , 当 wn 一 oo,e 为 有 限 值 ,上 且 对 部 分 和 5$.。 中 心 极限 定 
理 成 立 , 则 每 个 %; 都 服从 正 态 分 布 . 

叉 例 如 设 六 ,一 N00,1), 而 久 , 三 0,n 守 2, 则 中 心 极限 定理 自然 
成 立 , 而 这 结论 过 于 平凡 .， 

定理 10. 1.19 和 费 勒 定理 设 独立 随机 变量 列 {X,,n 半 11 满 
足 一 致 渐 近 可 忽略 条 件 , 且 对 部 分 和 5, 中心 极限 定理 成 立 , 则 林 
德 贝 格 条 件 成 立 . 

林 德 贝 格 条 件 中 自然 获 含 了 34 一 co, 由 于 |， .zdF,(7) 


上 反映 了 XX; 分 布 的 “尾巴 ", 因 此 , 林 德 幢 格 条 件 的 一 个 直观 解释 无 
疑 是 说 ,只 有 {X,} 的 分 布 函 数 族 中 有 一 种 普遍 的 “ 轻 虹 ” 效 应 ,中 
心 极限 定理 才 有 可 能 成 立 ， 

例 10.1.20 设 {了 X,,# 汪 1} 为 独立 随机 变量 列 ,X, 有 密度 


则 容易 验证 ,一 致 渐 近 可 忽略 条 件 成 立 , 而 林 德 员 格 条 件 不 成 立 ， 
因而 中 心 极限 定理 不 成 立 . 
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10.2 ”普遍 中 心 极限 问题 与 无 穷 可 分 分 布 族 


10, 2.1 普遍 中 心 极限 问题 与 无 穷 可 分 分 布 族 


在 古典 中 心 极限 问题 中 研究 独立 随机 变 直列 的 部 分 和 经 过 适 
当 的 电 心 化 和 标准 化 后 依 分 布 收敛 到 标准 正 态 分 布 的 条 件 . 该 间 
题 可 以 从 两 个 方面 推广 . 首先 , 泊 松 极限 定理 高 发 人 们 考虑 一 列 独 
立 随机 变量 组 {XX ,… ,Xu ja 一 1,2，… (不同 的 随机 变量 组 之 闻 


不 必 有 直接 的 联系 ), 求 组 和 5S = DX, 依 分 布 收 敏 到 某 一 分 布 


F 玉 的 问题 , 其 次 ,极限 分 布 也 不 必 是 正 态 分 布 ,这 就 是 普遍 中 心 极 
限 问 题 . 

为 使 问题 的 讨论 有 意义 , 现 定 独立 随机 变量 组 列 有 下 述 的 
性 质 

定义 10.2.1 如 困 下 述 条 件 成 并 : 

lim max P(X | 请 一 0, 对 Ye 0， 

称 独 立 随机 变量 组 列 (Xp ,区 一 1,2,… vimk, 二 00 满足 一 
致 渐 近 可 忽略 亲 件 . 

如 果 不 规定 一 致 渐 近 可 忽略 条 件 , 则 任 一 分 布 函 数 到 均 成 为 
可 能 的 极限 分 布 . 例如 取 闫 w 一 下 ,而 大 ws 二 0 一 2 一 2 
… 则 S 王 和, 一 下 .这 样 ,问题 的 讨论 便 失 去 意 尽 . 

定义 10.2.2 车 对 任 给 正 整 数 =*, 存 在 一 个 分 布 函数 FF. ,使 
得 王 是 忆 的 = 重 卷 积 , 则 分 布 函 数 己 称 为 是 无 穷 可 分 的 
Cinfinitely divisible). 

推论 10. 2.3 设 玉 为 无 窃 可 分 分 布 函 数 , 则 

(1) 对 任 给 正 整 数 n, 存 在 特征 函数 和 %, 使 得 的 特征 晃 数 
一 (各 人， 
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《2)》 对 竺 给 正 整数 ;可 构造 个 独立 同 分 布 的 随机 变 蔚 
古人 使 得 DX ~ 
定理 10. 2. 4 设 独 立 随机 变量 组 列 { 瑟 。，… ,Xn 一 1,2， 


… 满 足 条 件 limk, 一 oo 及 一 致 渐 近 可 忽略 条 件 , 则 S, 一 > Xu 的 
一 切 可 能 的 极限 分 布 族 为 无 穷 可 分 分 布 族 . 


下 面 讨论 无 窃 可 分 分 布 族 的 特征 . 
定理 10. 2,5 泊 松 型 分 布 的 有 限 卷 积 的 极限 分 布 类 即 为 无 
穷 可 分 分 布 族 ， 


定理 10. 2. 和 6 列 维 - 辛 软 人 Levy-xaaxm 定 理 分 布 函数 下 为 
无 窃 可 分 的 , 当 且 仅 当 它 的 特征 函数 gq 具 有 形式 


(1) 一 exp [iat 十 [fe 1 ] - J] 1 二 ™ dG))， 


其 中 i 为 虚数 单位 ,a 为 任 一 实数 ,G 为 非 降下 连续 表 数 ,GC 
二 0,G( 十 0) 之 吕 , 被 积 沙 数 当 w 一 0 时 应 理解 为 当 w-*0 时 的 极 
人 限 . Pp 与 (a,G) 是 相互 唯一 确定 的 . 

此 定理 给 出 了 无 穷 可 分 分 布 族 的 构造 , 例如 : 

推论 10. 2.7 在 定理 10. 2.6 中， 

(1) 邻 G0) 二 0: 如 q2) = 二 e*, 为 退化 到 a 的 分 布 . 

(2) 令 


0, 当 ww 和 0 * 
0 


则 pi) 一 cut 经 ,为 正 态 分 布 N {aay). 


AA 
0, 当 所 1， 
CGA) = 
" fe 


Gn) 一 | 
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其 中 0;, 则 g(t) 二 exp[Ale'" 一 1)] 为 泊 松 分 布 POV. 
当 一 个 无 穷 可 分 分 布 具有 有 限 方 差 时 , 它 的 表达 形式 可 变 得 
简单 一 些 ， 
定理 10. 2.8 具有 有 限 方差 的 分 布 F 是 无 穷 可 分 的 , 当 且 仪 
它 的 特征 阔 数 8 可 表 为 
Pt) = exp{iyt 十 | [ee 一 1 一 io] dK(u)), 


其 中 i 为 虚数 单位 ,Y 为 有 限 实 数 , 天 为 非 降 左 连续 函数 ,天 (一 2 ) 
一 0, 开 (十 cc)<oc， 
定理 10.2.9 设 独立 短 机 变量 组 列 { 匡 ,1< 委 Rs 委 有 一 142， 


发 


… 满 足 定理 10. 2.4 的 条 件 , S, 一 了 X, . 则 下 列 两 命题 等 价 : 
是 …1 
(1) S, 一 >F, 下 的 特征 请 数 由 定理 10. 2. 6 中 的 (ae ,G) 刻 画 . 
£ 
| ™ 下 mr 一 
(2) lim 之。 | our) 十 矿 Tt 十 au ) |= 他。 
本 TD 
下 
.ef Ea ， 四 
im >| dF + antr)) = Go)， 
风 了 0D 有 EC 人 C)， 
其 中 Fw 为 Xa 的 分 布 函 数 , am(r) = | zdFutz)，,C(G) 为 G 


推论 10. 2, i10 设 { 人 :是 二 1 0 一 1 2 满足 定理 


lr 


10. 2. 4 的 条件 ，S, 二 Xw ,Fw 为 不 s 的 分 布 函数 , 则 
(1) S, 一 >0, 当 且 仅 当 
| 


dFutzx) 一 0， 对 某 个 yy 半 0， 
这 yy| 


|i 
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上 


im > (| drs) 一 [zafsco] =-o， 


me Trl} 


¥Yy> 0; 


下 


lim | zdFalz) = 0， 对 某 个 y> 0， 
站 ee I| 居 时 


He 


02) 5S, 一 <rP(A), 当 生 仅 当 


二 


lim SFr) 一 0，VYzrc0i 
一 


得 
= 4, 当 0<zr<1， 
lim a Far) = | 
lim 2 的 0, 当 1 <x< mi 
上 
2 
lim 之， {| zdFr (xX) 一 [| zdFualz) | = 0， 
Noo oy [lzl=»] [lr 


0< yl 


Tn Liriey] 


A 

im | dF 0 Bo<y<l. 
站 

(3) S, -二 -N(D,1), 当 是 仅 当 


im | 


qe 


dF (x) =0, YYy> 0 


[ae 


ol 


NH— cr 


zzdFaCz) 一 | zdFutz) | }= 1 


[lri<y] [< 


YY 0 


中 


lim >| zdP tx) = 0 Yy>0. 
ko] lt] 


He 


10.2.2 独立 随机 变量 烈 的 部 分 和 


设 {X,,n 之 1) 为 独立 随机 变量 列 , 记 5S 一 DXi = 1,2, 
… .对 常数 列 {34,} 和 1B. 守 0} ,考虑 527 二 045, 一 A.)/B, 的 极限 分 
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布 . 记 4 一 0,a 一 4 一 4 一 1 2 ， 邻 症 一 (天 一 ay/ 百 ， 
1<hasn 二 1.2,…, 风 8S: 二 多久。 因此 ,这 是 著 遍 中心 问 题 的 
一 个 特例 . 

定理 10. 2. 11 设 4.,B., 广 .与 3 如 上 所 定义 ,S， 的 极限 分 
布 存在 且 非 退化 , 则 { 祥 ,满足 一 吾 渐 近 可 忽略 条 件 (10. 2. 1》, 当 
且 仅 当 Boo, 且 B,/ Bit 1 , 当 No, 

显然 ,在 满足 一 致 渐 近 可 忽略 条 件 的 前 担 下 ,S7” 可 能 的 极限 
分 布 为 无 穷 可 分 分 布 族 的 一 个 子 族 ， 

定义 10.2.12 设 特征 函数 9 满足 ,对 Y c€ (0,1), 严 的 在 
tER' 上 定义 了 一 个 特征 函数 , 则 称 ? 是 自分 解 的 (seli- 
decomposible) ,相应 的 分 布 画 数 称 为 自分 解 分 布 函数 . 

定理 10.2.13 设 { 巧 nr 衬 1) 为 独立 随机 变量 列 ， fa,}, (18,>> 


0)} 分 别 为 常数 列 , 关 一 (和 一 aa 扫 Emm 1 车 {( 和 Ts 
二 na3>1} 满 足 一 致 渐 近 可 忽略 条 件 (10.2.1), 则 S; 一 入。 的 


一 切 可 能 的 极限 分 布 谈 为 自分 解 分 布 族 . 

自分 解 分 布 族 是 无 穷 可 分 分 布 族 的 真子 集 . 

定理 30.2.14 自分 解 特征 函数 对 应 着 定理 10. 2.6 中 的 
(a:C) 满 足下 还 条 件 ， 

(1) G 在 R'-10; 上 存在 着 左 , 右 导数 ,分 别 记 为 gr 和 gn. 

(2) 过 江 g,(x) 和 go(4) 为 非 增 函 数 . 

推论 10. 2. 15 退化 分 布 和 正 态 分 布 均 为 自分 解 分 布 ,但 泊 
梭 分 布 不 是 自分 解 分 布 . 


10. 2. 3 独立 同 分 布 随机 变量 列 的 部 分 和 


定义 10.23.16 若 开 的 特征 画 数 ?满足 :对 任 一 对 实数 elyas 
* 14] 。 


和 任 一 对 正 数 包 ,8;, 存 在 实数 a 和 正 数 5, 使 得 
eg(h tt) » evaglhet) 一 eplht). 
则 分 布 函 数 下 称 为 是 稳定 的 {stable). 
定理 10.2.17 设 {X,n 字 1) 为 独立 同 分 布 随机 变量 列 , 5 


二 Xion 二 12 对 任意 常数 列 {4,) 和 1{B,>0},(5, 一 4)/ 


8, 的 一 切 可 能 的 极限 分 布 族 是 稳定 族 . 
定理 10. 2. 18 分 布 函 数 正 为 稳定 的 , 当 且 仅 当 它 的 特征 函 
数 有 形式 
Pt) = exp{liat — elt| [1l iB sgn) : wlioa)]}, 
其 中 ae 为 任意 常数 ,0<a 委 2 ,18j 委 1,c 空 0,sgEn 人 b 为 上 的 符号 ， 


tg| 字 | ,当天 1l， 


wtt, a) 一 3 


logli| : 当 o 二 1， 
其 中 a 称 为 特征 指数 (characteristic exponent) ,ec 称 为 恰当 参数 


(proper parameter), 

推论 10. 2. 19 ”在 稳定 分 布 特征 晤 数 y8 的 表 东 式 中 ， 

《1) 当 怡 当 参 数 c= 二 0 时 ,为 退化 分 布 . 

《2) 当 c 半 0, 特 征 指数 «一 2 时 ,为 正 态 分 布 Nta,#), 其 中 
= 2, 


《3) 当 cm00<a<c2 时 , 记 阶 窍 存在 当 且 仅 当 pa. 
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11 点 估计 
11.1 统计 模型 


11. 1. 总 体 与 样本 


数理 统计 学 (mathematical statistics) 是 研究 搜集 和 分 析 随 机 
数据 的 科学 方法 的 -- 门 学 科 , 是 应 用 数学 的 一 个 重要 分 支 ， 

定义 11. 1.1 在 数理 统计 学 中 ,研究 对 象 的 全 体 所 构成 的 集 
人 台 称 为 总 体 (population)， 

总 体 是 一 个 非常 广 活 的 概念 . 在 许多 实际 问题 中 ,总体 是 一 个 
包含 实 在 对 象 的 具体 概念 ,如 一 群 人 或 一 批 产 品 等 ,而 在 只 一 些 问 
题 中 ,总 体 又 可 能 是 一 个 抽象 的 概念 . 

总 体 中 的 元 素 (elements ) 或 个 体 (individuals ?的 个 数 可 能 是 
有 限 的 或 无 限 的 . 在 前 一 场合 ,我 们 称 之 为 有 限 总 体 , 而 后 者 称 为 
无 限 总 体 .有 时 ,一 个 有 限 总 体 中 的 个 体 数 目 非 常 大 ,可 近似 看 成 
是 无 限 总 体 . 

数理 统计 学 所 关心 的 不 是 总 体 本 身 , 而 是 总 体 的 其 些 数量 的 
性 质 . 例如 ,在 一 群 人 所 构成 的 总 体 中 ,我 们 关心 的 是 这 群 人 的 基 
一 生理 指标 (例如 肖 高 ,体重 或 血压 等 等 的 分 布 情况 ;或 同时 考虑 
多 个 指标 的 分 布 情 况 . 

定义 11.1.2 假设 总 体 的 某 一 个 或 多 个 指标 变量 的 取 值 情 
沈 已 知 ,我 们 就 可 以 计算 出 它 ( 或 它们 ) 的 分 布 阔 数 ,而 这 分 布 函 数 
在 总 体 上 确定 了 一 个 概率 分 布 , 称 为 总 体 分 布 (disrribution of 
bopulation )， 

实际 上 总 体 分 布 总 是 全 部 或 部 分 地 未 知 的 , 而 数理 统计 学 的 

* ]43* 


全 部 任务 就 在 于 设法 多 部 或 部 分 地 了 解 总 体 分 布 的 有 关 信 息 ， 

假如 某 个 总 体 ( 例 如 一 群 人 ?的 所 有 个 条 的 指标 变 基 值 ( 例 如 
身高 ) 都 已 测量 好 了 , 则 总 体 分 布 就 唯一 地 确定 了 . 从 数理 统计 的 
角度 来 看 ;对 这 个 总 体 的 关于 这 个 指标 的 分 布 的 认识 已 经 达到 了 
尽善尽美 的 状态 . 事实 上 数理 统计 学 所 面临 的 任务 永远 是 ;已 经 知 
道 了 总 体 的 一 部 分 个 体 的 指标 变 基 值 ,以 此 为 出 发 点 来 推断 总 体 
分 布 的 性 质 . 

定义 11.1.3 总 体 的 一 部 分 个 体 的 指标 变量 值 称 为 一 个 样 
本 {sample), 

数理 统计 学 的 任务 就 是 用 一 定 的 数学 方法 ,根据 已 知 的 样本 
去 推断 总 体 的 未 知性 质 ， 为 此 ,要 求 有 获取 样本 的 科学 方法 . 

定义 11.1.4 随机 抽样 (random sampling) 是 指 这 样 一 种 获 
取样 本 的 方法 :每 一 可 能 的 样本 被 抽取 的 机 会 是 可 计算 的 ， 

上 述 定 义 中 有 两 点 需要 说 明 ， 第 一 ,所 谓 “ 被 抽取 的 机 会 是 可 
计算 的 * 是 指控 照 某 种 概率 结构 来 抽取 样本 ,以 便 在 使 用 样本 去 进 
行 推断 时 ,能 够 使 用 概率 论 的 理论 . 凡 为 绝 天 部 分 的 救 理 统计 方法 
是 建立 在 概率 论 的 理论 之 上 的 ， 第 二 ,随机 ?抽样 并 不 意味 着 每 一 
可 能 的 样本 有 同等 的 机 会 被 摧 取 . 

以 下 的 各 章节 中 , 凡 提 到 抽样 ,都 是 指 鱼 机 抽样. 

定义 11. 1.5 对 有 限 总 体 来 说 ,有 两 种 基本 的 抽样 方法 :有 
故 回 抽样 (sampling with replacement) 一 一 是 指 在 抽样 过 程 中 依 
次 抽取 的 每 一 个 体 ,经 过 记录 指标 变量 值 之 后 ; 仍 放 回 到 大 总 体 之 
中 ;无 放 回 抽样 (sampling without replacement) 一 一 是 指 在 抽样 
过 程 中 依 深 抽取 的 每 一 个 体 ,经 过 记录 其 指标 变量 值 之 后 ,不 再 放 
回 到 总 体 中 去 ， 

有 放 回 抽样 与 元 放 回 抽样 的 一 个 重要 区 别 在 于 : 在 有 放 回 抽 
样 过 程 中 ,总 体 始 终 保 持 不 变 ; 而 在 无 放 回 抽样 过 程 中 ,总 体 在 不 
断 缩小 . 
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但 是 当 总 迟 是 无 限 的 ,或 有 限 总 体 中 元 素 ( 个 体 ) 特 别 多 ,而 抽 
取 的 样本 相对 来 说 较 小 时 ,无 放 回 抽样 可 近似 地 看 作 是 有 放 回 抽 
样 ,因为 通常 有 放 回 抽样 产生 较 简 单 的 样本 概率 结构 . 

每 一 抽样 过 程 蕴含 着 产生 一 个 可 能 的 样本 ,由 于 这 样本 是 未 
被 实现 的 ,因此 是 一 个 随机 变量 (或 随机 向 量 , 随 机 矩阵 ), 但 当 抽 
样 过 程 被 实施 以 后 ,我 们 便 得 到 一 组 真实 的 数据 , 称 为 样本 值 
(sample value), 

在 数理 统计 的 理论 研究 中 ,对 某 一 统计 方法 的 性 状 分 析 和 优 
劣 的 评价 是 根据 这 一 统计 方法 在 多 次 使 用 过 程 中 的 “总 的 "或 “ 平 
均 " 的 效果 来 衡量 的 ,因此 ,样本 被 看 成 是 随机 变量 {或 随机 向 量 ， 
随机 矩阵 更 为 自然 , 对 某 个 实际 的 统计 问题 ,一 个 统计 方法 的 使 
用 是 一 次 性 的 ,我们 面临 着 的 是 ~- 组 具体 的 样本 值 . 

对 于 总 体 和 样本 ,我 们 规定 用 羡 或 其 它 大 写 拉丁 字母 记 总 
体 ,实际 上 是 总 体 的 一 个 或 一 组 指标 值 ,假定 有 da 个 指标 和 值 , 则 称 
总 体 是 a 维 的 . 用 (XXX, , 义 ,,… , 义 ,) 或 带 下 标的 大 写 拉 丁字 母 表示 
样本 ,其 中 每 个 元 代表 一 个 个 体 的 相应 指标 变量 值 ,都 是 4 维 的 ， 
我 们 称 样 本 是 4 维 的 (d-dimensinnal sample), x 为 样本 中 所 包含 
个 体 的 个 数 , 称 为 样本 的 大 小 (size} 或 容量 (content). 我 们 用 xi， 
Zar"" sz) 或 其 它 带 下 标的 小 写 拉 丁字 给 表示 一 组 (已 实现 的 ) 样 
本 值 ,其 维 数 和 大 小 同上 定义 . 

定义 11.1.6 简单 样本 (simple sample) 是 指 这 样 的 样本 
(天 : 9X), 它 的 分 最 天 ,一 1 是 独立 同 分 布 的 随机 蛮 
量 ( 阿 量 )， 

以 下 章节 大 部 分 是 讨论 一 维 简单 梓 本 ,简称 为 样本 . 

对 有 限 总 笨 采 用 有 放 回 抽样 ,假定 每 次 抽取 (一 个 个 位) 时 ,总 
体 中 的 每 个 个 体 都 有 * 同 等 ?的 机 会 被 抽 到 , 则 样本 的 每 个 分 量 与 
总 体 有 相隔 的 分 布 , 且 分 量 之 间 是 相互 独立 的 ,这 样 就 产生 一 个 简 
单 样本 . 此 外 ,还 有 一 种 不 存在 真实 总 体 的 简单 样本 . 设 和 做 某 种 科 
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学 实验 ,在 各 种 条 件 都 不 改变 的 前 提 下 , 互 不 干 抗 地 重复 次 试 
. 验 , 每 一 次 试验 产生 一 个 (或 一 组 ) 试 验 数 据 , 这 样 也 产生 一 个 简单 
样本 ;每 一 次 试验 的 结果 构成 样本 的 一 个 分 量 . 在 理论 上 ,可 以 虚 
构 一 个 由 所 有 “可 能 的 ”试验 结果 所 构成 的 ,具有 一 定 分 布 的 总 体 ， 
而 每 次 试验 相当 于 从 这 虚构 的 总 体 中 进行 一 次 有 放 回 抽样 . 


it.1.2 统计 推断 与 统计 量 


总 体 分 布 总 是 全 部 或 部 分 地 未 知 的 . 统计 推断 (statistical 
inference) 的 目的 就 是 要 根据 样本 所 提供 的 信息 去 推断 总 体 分 布 
中 的 未 知 因素 . 根据 所 要 解决 的 任务 的 不 同 就 有 各 种 不 同 的 统计 
推断 的 间 题 , 下 面 介 绍 一 些 常见 的 统计 推断 问题 ， 

定义 11. 1.7 设 总 体 分 布 为 ,与 下 有关 的 一 些 参 数 是 未 知 
的 ,要 佰 计 这 些 参 数 的 真 值 ,这 样 的 统计 推断 问题 称 为 估计 
(estimation). 根据 提供 答案 的 方式 不 同 , 叉 分 点 估计 《point 
estimation) 和 区 和 间 估 计 (interval estimation) 两 大 类 . 前 者 是 要 给 
出 关于 参数 真 值 的 一 个 点 ;后 者 是 要 给 出 参数 真 值 可 能 存在 的 一 
个 区 间 . 根据 对 总 体 分 布 已 经 掌握 的 知识 的 程度 的 不 同 ,又 分 参数 
估计 (parametric estimation ) 和 非 参 数 估 计 (oonparametric 
estimation). 参数 估计 是 指 当 总 体 分 布 由 有 限 个 参数 唯一 决定 时 ， 
对 这 些 参数 的 估计 . 非 参 数 估计 是 指 当 总 体 分 布 忆 不 能 由 有 限 个 
参数 唯一 决定 时 ,要 千 计 它 的 某 些 重 要 的 数字 特征 ,例如 均值 、 方 

定 炎 11.1.8 对 总 体 分 布下 作 一 假设 ,然后 以 样本 为 依据 制 
定 一 个 方案 , 当 样 本 取 值 于 某 一 范围 时 便 肯 定 这 个 假设 ,否则 恒 否 
定之 ,这 样 的 推断 问题 称 为 假设 检验 (test of hypothesis). 

定义 11.1.9 假定 变量 y 与 其 它 一 些 变量 zi ,zs yzp 之 间 
有 着 受 随 机 误差 影响 的 函数 关系 : 

y= flrisTerr Ts) 十 2 
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在 上 式 中 f 为 未 知 或 部 分 未 知 的 消 数 ,e 表示 随机 误差 . 我 们 的 目 
的 是 吉 找 到 吗 数 了 (通常 是 估计 决定 了 的 一 些 末 知 参数 ). 这 样 的 
统计 推断 问题 称 为 回归 分 析 (regression anaiysis). 

对 同一 统计 推断 问题 ,可 能 有 不 同 的 统计 方法 ,这 些 方法 根据 
对 总 体 已 知 程度 的 不 同 ,理论 准则 的 不 同 以 及 实际 应 用 的 不 同 ,各 
有 优 缺点 .了解 这 些 内 容 对 实际 应 用 中 选择 哪 种 统计 方法 的 决定 
有 重要 的 指导 意义 ， 

各 种 统计 方法 归根 结 底 是 依据 样本 . 样本 中 包含 了 总 体 分 布 
的 信息 ,通过 对 样本 进行 一 定 的 加 工 , 担 取 这 些 信 息 并 集中 起 来 用 
于 推断 总 体 的 信息 . 

定义 11.1.10 设 (Xi,…,XX,) 为 一 个 样本 , 它 的 一 个 与 总 体 
分 布 无 关 的 函数 (或 向 量 育 数 )fCX),…, 廊 ,) 称 为 一 个 统计 量 
《statistics)， 

统计 量 必须 与 总 体 分 布 无 关 , 更 确切 地 说 ,统计 量 必 须 不 依赖 
任何 未 知 的 量 , 另 一 方面 ,一 个 “好 的 ”统计 量 必须 能 够 充分 “压缩 ” 
总 体 分 布 中 的 有 关 信 息 ,才能 在 统计 推断 中 提高 效率 . 

例如 , 某 一 总 体 的 分 布 为 NCa,1) ,a 为 未 知 参 数 . 大 ，… ,五 。 


为 从 该 总 体 中 得 到 的 一 个 简单 样本 . 记 又 = 二 3K, , 则 由 正 态 


分 布 的 性 质 易 知 有 服从 NN| 4, 汉 | 分 布 , 且 下 的 取 值 以 99.97% 的 


概率 落 在 区 间 [ 4 一 -六 ,a 十 学 二 | 之 内 因此 当 n 较 大 时 ,天 取信 


离 a 较 远 的 可 能 性 就 很 小 . 因此 用 元 去 近似 a 蚌 适 宜 的 . 
由 上 人 秽 可 见 , 判 断 一 个 统计 量 是 否 成 为 一 个 高 效率 的 推断 手 
段 , 前 提 是 要 精确 地 或 尽 可 能 近似 地 掌握 统计 重 的 分 布 . 第 6 章 中 
上 所 介绍 的 常用 分 布 绵 大 部 分 在 统计 推断 中 有 用 ,其 中 最 重要 的 是 
正 态 及 由 正 态 派 生出 来 的 分 布 ,如 居 分 布 ,t 分 布 及 下 分 布 等 
在 讨论 样本 或 统计 基 的 分 布 时 , 常 考虑 的 不 是 分 布 函 数 , 而 是 
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密度 或 概率 值 

定义 11. 4.11 对 一 个 随机 变量 X 及 其 分 布 , 它 的 频率 函数 
(frquency function) f(x) 为 

(1) 当 丰 为 达 续 型 变量 时 , 它 的 密度 函数 . 

《2) 当 区 为 离散 型 变量 时 , 它 在 z 点 的 概率 值 . 


11.2 无 偏 估计 
11,2.1 无 偏 估计 的 定 光 


设 总 体 分 布 由 有 限 个 未 知 参 数 4 一 (2 2) 所 决定 , 记 为 
Fo.8 可 能 取 值 的 范围 称 为 参数 空间 (parameter space), 记 作 四, 设 
XX 六 为 自 该 总 体 中 抽出 的 一 个 样本 ， 

定义 11.2.1 车 用 一 个 p 维 统计 基 6 一 (8.(X;,*…' ,XX,)，…， 
六 (和 ) 去 人 计 引 的 真 值 , 则 称 8 为 8 的 一 个 点 估计 (point 
estimate ). 

对 一 个 估计 的 基本 要 求 是 希望 它 尽量 不 要 偏离 8 的 真 值 . 但 
由 于 估计 作为 样本 的 应 数 也 是 一 个 随机 变 其 ,上 述 要 求 只 能 在 下 
述 的 两 个 意义 上 来 实现 . 首先 ,我 们 希望 在 多 次 使 用 这 个 估计 时 ， 
“平均 "来 看 ,估计 的 9 是 正确 的 , 换 句 话说 ,估计 的 正 负 偏 差 应 能 
相互 抵消 . 其 次 ,我 们 希望 ,在 重复 使 用 一 个 估计 时 ,其 “平均 累计 
误差 ”应 尽 可 能 小 . 由 第 一 个 要 求 ,我 们 给 出 

定义 11.2.2 设 乡 为 未 知 参 数 的 一 个 估计 ,满足 

Ed = 8, 
， 则 称 站 为 8 的 一 个 无 偏 估 计 Cunbiased estimate). 

在 上 述 定义 中 , 当 9= (8,…,5) 为 高 维 的 , 则 E6 一 (Eh ，…， 
EB ) ,其 中 ( 训 ,… 6,) 一 闪 

由 太 数 定律 , 当 友 复 用 站 去 估计 参数 真 值 8 时 ,6 的 平均 值 便 
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收 襄 到 真 值 5. 
下 面 给 出 两 个 常用 的 无 偏 估计 
例 11.2.3 设 总 体 均 秆 为 a, 方 差 为 器 , 芝 ,,… ,六 ,为 简单 样 


偏 估计 ,3 为 旺 的 无 人 视 估计, 分 别称 为 样本 均值 Csample mean) 种 


样本 方 整 (sample variance). 
衡量 一 个 估计 对 于 参数 真 值 的 “平均 累积 误差 *, 在 统计 学 的 
理论 和 应 用 中 常 虹 下 述 的 佑 计量 


定义 11.2.4 设 8 是 一 个 一 维 未 知 参 数 (或 参数 的 某 个 分 
量 》 ,各 是 日 的 一 个 估计 , 刚 定 妆 且 的 均 方 误 荆 (mean square error) 
为 MSE( 的 一 五 (一 们 和 

另 一 个 可 用 的 衡量 估计 的 平均 累积 误差 的 量 是 

定义 11.2.5 设 98 与 9 分 别 为 1 维 参数 与 它 的 估计 . 则 #5# 的 
平均 绝对 误差 (4mean absolute error) 定 义 为 MAE( 引 一 E18 一 8|. 

均 方 误差 与 平均 绝对 误差 作为 估计 误差 的 两 种 不 同 度量 各 有 
其 优 缺 点 . 前 者 具有 数学 上 易于 处 理 的 优点 而 得 到 了 广泛 的 应 用 ， 
而 后 者 具有 稳健 性 (robustness) 的 优点 ,在 现代 统计 理论 中 日 益 
得 到 重视 ( 见 第 14 章 ). 

若是 8 的 一 个 无 偏 估 计 , 则 MSE( 四 一 var( 介 .因此 对 无 偏 
估计 来 说 ,方差 是 衡量 其 平均 累积 误差 大 小 的 重要 的 量 . 

传统 的 统计 理论 对 估计 的 无 血性 非常 重视 . 但 过 分 强调 这 一 
点 就 会 产生 一 些 困难 . 第 一 ,在 某 些 估 计 问 题 中 无 偏 估计 并 不 存 
在 ;第 二 ,有 些 无 仿 估 计 即 使 存在 ,其 表示 形式 也 过 于 繁复 ,不 合 实 
用 , 第 三 ,无 篇 估计 的 均 方 误差 不 一 定 能 达到 最 小 . 


11.2.2 最 小 方 辩 无 偏 估计 与 充分 完备 统计 量 


对 同一 总 体 分 布 的 参数 ,可 以 构造 许多 不 同 的 无 偏 售 计 . 例如 
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对 笨 均 值 q, 任 意 构造 样本 X,,…,X, 的 一 个 函数 了 一 CX 


其 中 cecs 为 常数 ， > 二 1 , 则 显然 具有 这 种 形式 的 了 都 是 a 


的 无 偏 佑 计 -. 如 前 所 述 ， 方差 是 衡量 一 个 无 偏 估 证 的 “平均 暴 积 误 
差 * 大 小 的 量 . 因此 ,通常 希望 找到 方差 尽 可 能 小 的 佑 计 ， 

定义 11.2.6 设 8 为 总 体 的 一 维 参 数 ,8 为 2 的 一 个 无 备 估 
计 . 若 对 4 的 任 一 无 位 估计 及 8 的 任 一 可 能 值 , 有 

var td) < vartd ). 

则 称 6 为 号 的 最小 方差 无 偏 估计 (minimum variance unbiased 
estitmate ). 

理论 上 ,寻找 最 小 方差 无 偶 估 计 要 依赖 于 充分 完备 统计 量 . 

定义 11.2.7 设 站 及;，,… ;XX 为 取 自 总 体 分 布 Fe 的 样本 ,6 
为 (有 限 维 的 ) 未 知 参数 .T 为 一 个 (有 限 维 的 ?统计 量 . 若 当 绘 定 了 
时 ,样本 义 1,…* ,XX, 的 条 件 分 布 与 未 知 参数 8 无关, 则 称 工 为 充分 
统计 量 (sufficient statistic )， 

充分 统计 量 的 概念 是 由 英国 著名 统计 学 家 费 希 尔 (Fisher) 提 
出 的 ,其 含义 是 :样本 中 包含 关于 来 知 参 数 9 的 信息 全 部 压缩 在 充 
分 统计 量 之 中 了 . 而 这 一 点 是 通过 比较 样本 的 无 条 件 分 布 和 给 定 
了 之 后 的 条 件 分 布 看 出 来 的 ， 

定义 11.2.8 设 羡 ，……ZX, 为 取 自 总 体 分 布 Fs 的 一 个 样本 ， 
pg@ 为 未 知 参 数 , 了 为 一 个 统计 量 - 若 对 了 的 任 一 函数 EC7) 
满足 


kg(7T) = 二 0， 任意 8 € 8， 
就 有 gC7)=0, 则 称 工 为 完备 统计 量 (complete statistic). 
兰 一 个 统计 量 工 既是 充分 的 又 是 完备 的 ; 则 称 它 为 充分 完备 
统计 量 , 利 户 充分 完备 统计 量 便 可 得 到 关于 最 小 方差 无 偏 估计 的 
一 个 重要 结论 . 
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定理 11. 2.9 芋 赫 曼 - 谢 非 (Lehman-Scheffe) 定 理 设 总 一 
(91 ,9,) 为 总 体 分 布 Fr 的 一 个 记 维 末 知 参 数 ,9E 旭 .天 ,并 ， 
是 取 自 该 总 体 前 一 个 样本 ,了 二 TC(XK,,… ,多 .) 为 -充分 完备 统计 
量 ( 一 般 也 是 p 维 的 ). 对 8 的 任 一 函数 gC0), 苦 存 在 一 个 仅 依 赖 
于 工 的 无 偏 估计 gCT) ,网 g《T) 为 g(8) 的 最 小 方差 无 偏 估计 . 

定理 11. 2.9 给 出 了 一 个 寻找 最 小 方差 无 篇 估计 的 方法 , 即 : 
先 找 充分 完备 统计 址 人 ,再 找 . -个 仅 依 赖 十 了 的 无 偏 估 计 , 则 这 
无 偏 佑 计 即 为 所 求 . 下 面 一 个 定理 给 出 寻找 充分 统计 量 的 简单 
方法 . 

定理 11. 2. 10 设 样本 天,,…, 久 , 肥 自 总 体 分 布 ,有 频率 
郴 数 

friersra ld) — gC(T rss TO) OD hr se ss) 

其 中 了 (re 一 (Try 与 参数 有 
无 闫 ,AKCziyyzo 与 尹 无 关 , 则 了 (zt 为 充分 统计 量 . 上述 
条 件 也 是 必要 的 . 

关于 充分 完备 统计 量 , 要 分 两 种 情形 讨论 . 首先 考虑 总 体 天 
的 取 值 区 域 与 8 无 关 的 情形 , 例如 正 态 分 布 N (a,o3) ,其 中 性 
为 未 知 参数 ,而 总 体 基 的 取 值 区 域 为 整个 实数 轴 , 与 a,o 的 值 无 
关 . 这 时 有 下 述 的 定理 . 

定理 11.2.11 设 总 体 区 的 取 值 区 域 与 未 知 参 数 58 无 关 , 有 
频率 函数 


疡 
fx,0) 一 cCOD)AGCz)exp{ Da OT CY), 


其 中 a6) ai 的 ) 关 于 如 是 1-1 对 应 的 ( 即 对 每 个 Ca, (全 
as(9)), 有 礁 一 的 8 值 与 之 对 应 }, 则 对 简单 样本 六,，…- ,和 有 充分 
完备 统计 量 

TOK XN) 一 (SIT RD, HTK)). 
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例 11.2.12 设 总 体 分 布 Wia,e),9= (ao 为 二 维 未 知 参 


数 , 其 密度 阿 数 为 
f(x ,0)= A ep 一 赤 习 十 号 x 
= ctoOR rexp {a (OT, 十 ec 的) ， 
这 里 有 (x) 二 1;c(0) 一 0 = 三,a:(0) 一 一 3 
Try 二 ,T(x) 二 zx. 因此 对 简单 样本 革 ，… ,XX,, 充 分 完备 统 
计量 为 了 二 | PX, D4). 而 及 一 LX.,s = 


iT[ 习 窜 一 其 阅 区 分别 为 “和 = 的 无 信 信 计 ( 见 


11. 2. 3) 且 均 为 了 的 函数 . 敌 由 定理 11.2.9 知 六 与 S: 分别 为 a 
和 王 的 最 小 方差 无 偏 估计 . 

另 一 种 情形 是 总 体 七 的 取 值 范围 与 8 有 关 , 例如 ,总 体 分 布 
为 区 间 [ ,多 ] 上 的 均匀 分 布 ,这 里 g= (8 ,六 ) 为 未 知 参 数 . 这 时 定 
理 11. 2, 11 不 能 使 用 . 但 在 常见 的 场合 容易 确定 完备 统计 量 ， 

定理 11. 2.13 设 产 维 统计 量 了 一 (7 ,To 有 频率 纯 
数 ga,… | 及 ,在 户 维 空间 的 一 个 连通 区 域 Ct 人 ) 内 大 于 零 , 其 
它 地 方 等 于 零 . 车 C69) 随 8 连续 变化 ,有 旦 对 维 空间 中 任 一 点 := 
(t,to) 存在 如 使 得 C069) 收缩 到 一 点 t; 则 工 为 完备 统计 量 . 

设 其 个 统计 量 了 满足 定理 11. 2. 13,; 因 而 为 完备 统计 量 , 再 利 
用 定理 11. 2. 10 可 以 验证 它 的 充分 性 . 

例 11.2.14 设 刁 ，…X。 为 简单 样本 , 取 自 总 体 为 (外 ,多 ) 圭 
的 均匀 分 布 ， 一 上 达 人 和 人 之 oo， 考虑 二 维 统计 量 了 了 一 《 且 0 有 tm》， 
其 中 六 w= min Xi, Xn — maxX.. 则 根据 顺序 统计 量 的 分 布 理论 
( 见 第 6 章 ) 知 了 有 联合 概率 密度 
ntn— 1} 
(HY 


有 CE |》 一 《ta £1)" 20, ti 
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由 定理 11. 2. 13 可 知 , 了 二 (YX 为 完备 统计 量 . 而 样本 联合 
密度 为 


1 
fr td) = 人 二 ace 


由 定理 11, 2.10 可 知 , 了 = (Xo 也 是 充分 统计 时 ,因此 是 充 
分 完备 统计 量 . 容易 算得 


、 由 一 
2 一 外 十 十 T， := ni1* 
因此 2 的 最 小 方差 无 偏 估计 为 二 一 局 ,0, 的 最 小 方差 无 仿 估 
好 吧 人 一 大 
计 为 一 


11.2.3 无 偏 估计 的 方差 下 界 


当 找 到 最 小 方差 无 偏 估计 时 ,无 偏 估计 的 方差 下 界 便 可 以 通 
过 计算 该 估计 的 方差 来 得 到 . 但 需要 有 一 种 方法 ,不 依赖 于 最 小 方 
差 无 偏 佑 计 而 直接 计算 无 偏 居 计 的 方差 下 界 ， 

定义 11.2.15 设 样 本 (和 ,的 联合 分 布 有 频率 函数 
Frteyzn10 其 中 加 为 未 知 参 数 ， 该 样本 关于 0 的 似 然 函数 
《liketihoeod funetiony 沟 

世人) = fOX, ,KD. 

事实 上 似 然 函数 就 是 把 样本 直接 代入 到 它 的 频率 函数 中 所 得 
到 的 ,重点 是 把 它 看 成 为 有 的 一 数 ,因此 记 作 工 (9， 

定理 11.2.16 克拉 美 - 馈 (Cramer-Rao) 定 理 设 了 为 吕 的 
一 个 无 偏 倍 计 , 且 似 然 函数 (0) 满足 条 件 

(CD B[ 8 |=0, 


一 ]， 


(2) EE [7 好 8 ] 


则 
153。 


varCT) EE [| ?logL | 1 


其 中 下 【 8 | 丈 为 6 -R 下 界 . 
推论 11. 2.17 设 总 体 分 布 有 频率 函数 Cc] ,XX ,与 ,为 
简单 样本 , 则 C-R 下 界 有 形式 
1 
alogL DT ak x [9127 
a 


2 | 
1 4 


因此 , 当 和 样本 为 独立 同 分布 时 ,C-R 下 界 是 二 数量 级 的 . 
当 9= (2) 旦 关 > 时 ,可 对 8 的 各 个 分 量 使 用 定理 
11.2.16 来 得 到 无 偏 估计 的 C-R 下 界 ， 

例 11.2.18 设 总 体 分 布 为 Neo), 其 中 心 ,oz 为 未 知 参 数 ， 
和 为 简单 样本 , 则 


‘TalogLa od 1 rr 刀 2 
E[ ogL ] = 2[0 一 二 各 ， 


alogL(ao)] 1 | (CX;,— a)’ i 
中 EP 一 | =F[ 志 (> or "| ] 2 


因此 a 的 CR 下界 为 ,而 的 C-R 下 界 为 红 . 另 一 方面 ,由 例 


11. 2. 12 知 ,a 的 最 小 方差 无 偏 估计 为 下 ,其 方差 为 全 ,而 o 的 最 


小 方差 无 偏 估计 为 5*, 其 方差 为 22. 由 此 可 见 ,C-R 下 界 有 时 失 
之 过 小 
在 C-R 定理 (11. 2. 16? 的 条 件 下 ,有 
， ) 1 斌 2 
推论 11. 2. 19 古人 | ]- E[? 人， 


其 中 一 E| | 称 为 费 着 尔 信 息 (Fisher information). 
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11.3 极 大 似 然 估计 与 矩 估计 


11.3.3 极 大 似 然 估计 


极 大 羽 然 估计 maximum likelihood estimate) 是 英国 著名 统 
计 学 家 费 希 尔 首 先 提出 的 - -种 应 用 非常 广泛 的 估计 方法 . 设 样 本 
(XXX 有 频率 国 数 f(xy | 四 ,其 中 8 为 思维 末 刘 参数 . 
由 定 文 11.2.15; 似 然 函数 为 

LB = 了 (re 人) 

当 给 定 样本 值 及 0 一 如 时 江 (2) 表 示 样 本 取 给 定 值 的 可 能 性 的 相 
对 大 小 tL0,) 乘 - 个 比例 因子 相当 于 概率 值 ;. 费 希 尔 认为 应 该 在 
2 的 取 的 所 有 可 能 取 值 中 找 这 样 的 值 去 估计 48: 样本 取 给 定 德 的 
可 能 性 当 4 一 各 时 达到 最 大 . 即 (从 应 该 达到 最 大 ,他 把 这 一 思想 

定义 11.3.1 设 记 维 统计 景 上 满足: 对 6 的 任 一 可 能 值 8, 有 

L(B) > L(0,), 

则 称 台 为 8 的 极 大 似 然 知 计 . 

例 11.3.2 设 总 体 分布 为 060, 扑 ;区 则 [90; 人 由 上 的 均匀 分 
布 .其 中 0<8 为 未 知人 参数 ,XX ,… ,%, 为 简单 样本 . 则 似 然 函数 为 

元 (的 = 0 "Tx en 


其 中 XX 一 max {六 ,1 入 1 全 n1. 显然 , 极 大 似 然 估计 为 6 二 XX， 

根据 定义 , 求 极 大 似 然 佑 计 就 是 要 求 似 然 函 数 L698) 的 极 太 值 
点 . 在 很 多 场合 下 , 似 然 函数 (8) 关于 变量 8 有 二 阶 偏 导 数 存在 . 
因此 极 大 假 然 估计 应 该 满足 条 件 


a _ aL) 
六 | = 0 | <0 C11. 1) 


因此 , 求 出 式 (11. 1) 的 金 部 解 , 其 中 之 -就 是 极 大 似 然 估计， 
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当 样 本 扣 13 9 独立 同 分 布 , 有 相同 的 频率 函数 f(x 四 时 , 常 求 
解 与 11. 1 的 第 一 个 方程 等 价 的 方程 ; 


alogs 9) _ > a 102s (XO 0 C11. 2) 
二 1 
11.2 式 称 为 对 数 似 然 方程 (toglikeiihood egqguation), 其 中 


logL( 引 称 为 对 数 似 然 函 数 . 

例 11.3.3 设 总 体 分 布 为 Niaso8) ,其 中 为 未 知 参数 ,5 
为 已 知 常数 ,及 ,… ,XX, 为 简单 样本 ,要 求 均值 a 的 极 太 似 然 估 计 . 
此 处 , 似 然 函数 为 

也 (ay 一 [roi]- iexp| 一 京 > (XK; 一 要 | 
对 数 似 然 函 数 为 
logL 一 一 Flog(2r) 一 了 logc 一 pr (Xi 一 a 


对 数 似 然 方程 为 
dlogL _ 


ja = 让 2 一 4) = 0. 
因此 a 的 极 大 似 然 估计 为 6 二 下 二 上 IX; 


例 11.3.4 设 总 体 分 布 为 Nta,o), 其 中 a,o 均 为 未 知 参 
数 ,XX1,"… ,及 为 简单 样本 , 求 a 和 a 的 极 大 似 然 估计 . 这 时 对 数 
似 然 方程 有 两 个 ， 


20ek 一 ED =0, 
3 logL 加 
一 + 起- 
先 求解 第 一 个 方程 得 a 一 叉 ,将 a 代入 第 二 个 方程 得 于 = 
iD — 二 9?, 因此 砚 与 " ls: 为 = 与 地 的 极 大 
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亿 然 估计 , 这 里 呈 的 估计 不 是 无 偏 的 (网 例 11, 2. 3). 
实际 求解 似 然 方程 常会 遇 到 两 个 问题 . 首先 是 常常 无 法 求 出 
解 的 直接 表达 式 ; 其 次 是 解 的 不 唯一 性 . 为 解决 第 一 个 问题 ,可 求 
数值 解 .这 样 能 得 到 似 然 方程 的 一 个 近似 解 (但 无 法 判明 其 是 否 仅 
仅 是 一 个 局 部 根 值 点 )， 
下 面 介绍 用 牛顿 -拉夫 森 (Newton-Raphson,N-R) 方 法 求 似 
然 方程 数值 解 的 步骤 . 设 六 为 对 数 伺 然 方程 (11. 2) 的 解 , 记 为 8 的 
任 一 估计 ,对 似 然 方程 作 泰 勒 展 开 , 有 
0 一 (539) - 122 号 |， 十 (一 923 


28 a8 | 9 
其 中 六 位 于 抽 与 之 间 . 由 上 式 可 解 得 


A dlogL dlogL 
0 ,3),. 


当 色 距 6 较 近 时 ,9" 也 距 较 近 , 这 时 可 在 上 式 中 用 页 代替 8'， 
得 


2 
已 一 ER [22 中 logL 《11. 3) 
而 


a8 a ) 


在 此 式 中 得 到 的 名 将 比 站 距 艰 更 近 . 若 将 训 民 符 站 代入 上 式 式 
中 便 可 得 名 ,如 此 迭代 次 , 则 抽 将 非常 接近 不 但 是 利用 N-R 方 
法 所 求 的 兴 代 解 可 能 不 收 钱 ,或 收 傅 的 点 不 是 logz 的 极 大 值 点 ， 
这 方面 的 深入 分 析 , 超 出 了 本 书 的 范围 .但 经 验 和 理论 分 析 证 明 ， 
当 样 本 容量 ” 较 大 时 ,适当 地 选取 初始 值 ,迭代 一 两 次 便 可 得 到 一 
个 相当 满意 的 解 , 例如 ,可 以 考虑 用 2 的 矩 估 计 或 其 它 相合 估计 来 
作 初 始 值 . 
11. 3 式 计 算 起 来 仍 不 通 简 便 , 在 实际 计算 中 费 希 尔 建议 用 
Ee| | 2328] 


去 代 料 ?98 二, 得 
157 。 


leg [| 
0 | 了 8 jfs 3 外 C11. 4) 


用 11. 4 式 进行 具 代 称 为 费 希 尔 得 分 法 (Fisher scoring method). 
费 希 尔 得 分 法 与 N-R 法 比较 ,在 兴 代 的 最 初 几 步 ,前 者 收敛 较 快 ， 
而 当 和 办 代 步 数 较 多 时 ,后 者 将 比 前 者 收 敦 得 快 . 
例 11.3.5 设 总 体 分 布 为 柯 西 分 布 ,有 密度 
fxr|0) = 


1 
wl + Cr C—O] rT, 


(Xi，…, 玉 ,) 为 简单 样本 , 求 8 的 极 大 似 然 估计 ,可 用 费 希 尔 得 分 
法 来 求 数值 解 . 似 然 方程 为 
alogL. RR;,— 0 


“30 -2 
首先 计算 
og ~ 9 log/ 三 三 2[(z 一 六 一 1 
如 a0 "| | = Ti 
一 ”人 (一 一 天 
| 证 下 2 


于 是 由 11.4 得 迭代 方程 


网 人 (Xi;C— 
名 [TT 
至 于 初始 值 , 这 里 推荐 用 样本 中 位 数 ， 
11.3.2 和 矩 方 法 
定 闵 1E， 二, 看 设 1 为 简单 样本 ， 
《1) 样本 大 阶 原点 矩 为 
di 二 1 Ox,8 一 12 
当 上 一 1 时 :ai 一 和 为 样本 均值 . 


C2) 样本 站 阶 中 心 失 为 
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1 
"= (KX, 一 KY,k = 2,.3.,: 


当 下 一 了 时 ma s,s 为 样本 方 其 . 

定 尖 11.3.7 没 总 体 分 布 的 末 知 套数 8 一 Aeroryp 
A ) ;其 中 全 一 ] 为 总 体 的 :! 阶 序 点 年 Tt 一 人 为 总 体 
的 阶 中 心算 , 则 # 的 矩 估计 (estimation by moments ) 为 


6 一 Cas i 0, ), 

其 中 ear 为 样本 原点 矩 ,m2;… ;mm, 为 样本 中 心 矩 

和 矩 估计 方法 可 构 括 为 简单 的 一 句 话 ;用 相应 的 样本 短 去 估计 
总 体 容 . 

例 11.3.8 设 C= pf pe Ck — fea HE 分 别 为 总 体 的 偏 度 季 数 
和 各 哗 麻 系数 , 则 它们 的 矩 估计 分 别 为 c 一 zs/m ,ci 一 mm/mi. 

定理 11. 3.9 

(CD as 为 a 的 无 偏 估计 , 即 避 (as) 二 wm. 估 计 的 方差 为 二 (az 
一 a). 

(2) mi 不 是 mn 的 元 偏 信 计 ,偏差 为 0| 六 | , 妈 

Em) = 由 十 ol 二 | ， 
估计 的 均 方 差 为 
Ecms — pu)? 
一 二 (ps 一 2 十 ol 可 | * 
注 在 定理 11, 3.9 中 ， ol+ | 表示 与 二 同 级 的 无 穷 小 量 ， 


O| 站 | 表示 与 志 同 级 的 无 穷 小 量 . 
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11.4 估计 的 大 样本 性 质 


11. 4. 1 基本 概念 


棚 大 似 然 估计 与 抢 估 计 以 及 其 它 的 一 些 估 计 都 是 从 某 种 直观 
的 统计 思想 提出 来 的 情 计 方法 . 它们 既 不 必 是 无 偏 的 ,也 不 必 是 方 
差 (或 均 方 误差 ) 最 小 的 . 在 许多 情况 下 直接 计算 估计 的 均值 和 方 
差 均 比较 困难 . 概率 论 的 极限 理论 的 发 展 给 数理 统计 学 提供 了 一 
个 有 力 的 工具 ,使 得 他 们 能 够 研究 当 样本 容量 很 大 时 ,估计 基 的 渐 
近 性 质 。 也 就 是 说 , 设 义 ,，,…- ,XX, 为 样本 ,研究 当 n-*oo 时 ,统计 量 
的 性 质 . 这 种 理论 称 为 大 样本 理论 . 

设 8 为 待 估 参 数 ,用 处 记 基于 容量 为 n 的 样本 所 产生 的 售 
计量 . 

定义 11.4.1 若 对 任意 给 定 小 药 正 数 s。 和 ,存在 阁 , 当 ?>> 
六 时 有 

下 (人 一 引 奖 昌 委 他 

则 称 所 为 器 的 相合 估计 (econsistent estimate). 

相合 估计 的 含义 是 ;只 要 样本 容量 足 侠 大 , 则 估计 量 对 真 参 数 
的 偏离 超过 指定 限度 (| 一 8 | 安 6) 的 概率 可 任意 接近 于 零 , 从 概 
率 论 的 角度 来 看 ,就 是 要 名 依 概率 收 伍 到 真 参数 5. 从 大 样本 的 角 
度 看 ,相合 性 是 对 和 佑 计 的 一 个 最 基本 的 要 求 ， 

定义 11.4.2 设 久 为 8 的 估计, 满足 

Pllimb. 一 全 一 ]， 

则 称 据 为 有 的 强 相 合 估 计 (strong consistent estimate). 

从 概率 论 的 角度 看 , 强 相合 性 是 要 求 估 计 色 “ 记 平 处 处 " 收 钱 
到 2, 强 于 相合 性 (只 要 求 依 概率 收敛 )， 

要 研究 一 个 估计 的 性 质 , 了 解 它 的 分 布 是 必 不 可 少 的 .但 某 些 
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估计 (例如 极 太 似 然 估 计 ) 的 分 布 非常 复杂 ,以 致 无 法 给 出 明显 的 
表达 式 . 利用 概率 论 中 的 中 心 极限 定理 ,我们 希望 能 找到 估计 量 的 
极限 分 布 , 而 在 大 多 数 场合 下 ,这 种 极限 分 布 是 正 态 分 布 . 

定义 114.4.3 设 岂 作为 日 的 估计 满足 


VHB 站- Nt0,o2)) 当 于 -> co， 


其 中 -一 表 订 依 分 布 收 笋 , 则 称 包 为 4 的 渐 近 正 态 估计 
(asymptotieally normal estimate). of 称 为 包 的 渐 近 方差 
(‘asymptotic variance)* 它 可 能 与 有关 . 

容易 证 明 , 渐 近 正 态 估 计 一 定 是 相合 估计 ,但 不 一 定 是 强 相 人 台 
估计 ， 

对 某 个 待 估 参数 85, 如 果 存 在 着 渐 近 正 态 居 计 ,这 样 的 估计 可 
能 并 不 唯一 . 国 此 渐 近 方差 的 大 小 就 可 以 作为 比较 这 些 估 计 优 劣 
的 一 个 准则 ， 

定 尺 11.4.4 设 泉 为 待 估 参 数 8 的 一 个 渐 近 正 态 估计 , 渐 近 
方差 为 一. 若 对 8 的 任意 渐 近 正 态 估计 到 , 渐 近 方差 记 为 中, 有 

和， 

则 称 二 为 8 的 最 优 渐 近 正 态 估计 {the best asymptotically normal 


estimate)», 
11.4.2 极 大 似 然 估计 的 大 样本 性 质 


在 较 一 般 的 条 件 下 , 极 大 似 然 估计 就 是 强 相合 估计 . 下 面 给 出 
一 个 容易 验证 的 充分 条 件 . 

定理 11.4.5 设 总 体 X 有 频率 函数 /(z|), 它 是 8 的 连续 
函数 ,其 中 为 一 维 参 数 . 设 双 ;,… ,四 , 为 简单 样本 , 工 (9) 为 似 然 
疯 数 . 若 

(1) EsLlog/(X118)] 存 在 ,其 中 Es 宕 示 在 真 参数 为 9 时 的 
期 望 . 
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2) 8 的 取 值 范围 有 界 ,或 lim logf (x18) 一 一 cc 
《3) 对 8 的 任 一 可 能 已, 总 体 分 布 为 非 退 化 
则 极 天 似 然 估 计 必 为 强 相合 估计 . 
在 较 一 般 的 条 件 下 , 极 大 似 然 估计 也 是 最 优 渐 和 近 正 态 估计 . 
定理 11.4.6 设 总 体 X 有 频率 函数 /zxz| 从 ,其 中 上 为 一 维 
参数 , 设 左 ，…R 为 简单 样本 ,过 ( 亿 为 似 然 画 数 . 知 


(1) EE |=0. 
a- 


则 极 友 似 然 佑 计 为 8 的 最 优 渐 近 正 态 舍 计 . 即 
Vn NOLOD), 

其 中 0) 二 E | gs ENO) ] 

在 定理 11.4.6 中 条 件 (2) 相 当 于 


-= 帝 |- -| SLiedz 《11.5》 


= el 2 roy ea 


-+ 


当 样 本 容量 x 较 大 时 ,用 定理 11. 4. 6 便 可 得 到 极 大 似 然 估计 
的 近 拟 分 布 . 


11. 4.3 上 矩 估 计 的 大 样本 性 质 


下 面 的 定理 表明 和 矩 估 计 一 般 总 是 强 相合 的 ， 
定理 11. 未 7 设 未 知 参数 9 一 haya pers14); 其 中 
aa 为 总 体 原点 矩 ,mm ,pa 为 总 体 中 心 矩 ,上 为 连续 函数 , 则 
8 的 矩 估 计 站 一 产 Ca ta za ( 见 定 义 11.3.7) 为 8 的 强 
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相合 估计 . 

一 般 设 参 数 9 可 表 为 总 体 原 点 算 和 中 心 矩 的 孜 数 ( 见 定 浆 
11. 3.11), 但 由 于 中 心算 双 可 甫 为 原点 矩 的 沙 数 ,因此 8 必 可 表 为 
总 体 原 点 答 的 函数 , (例如 ,8= jw: 总 体 方差 , 则 8= 一 Co) 5.) 所 
以 我 们 总 假定 

8 = gla sr ay). 《11. 6) 

定理 11.4.8 设 m 为 总 往 下 阶 原点 矩 ,ax 为 样本 在 阶 原点 
些 , 则 

(1) aa 为 a 的 无 偏 倘 计 , 即 Elta) 二 =a. 


(C2) var Cas) = (ew—o). 


(C3) COv (as 01) 一 二 (a oo). 


定理 11, 4.3 设 未 知 参 数 8 满足 关系 式 (11.6), 且 总 栖 分 布 
有 2 续 阶 矩 存在 ; 阔 数 gla,…,ai) 对 各 变 元 有 连续 的 一 阶 偏 导 数 ， 
则 好 的 逢 估计 Hb— g(ta) Li :a4) 是 0 的 洒 近 正 态 估计 , 即 


/WO 0 工 - Novn(O))， 
帮 二 
其 中 ug) = 31D) C06,) 一 aaj) 2858 .为 浙 近 方差 ， 


yr da A a; 
例 1.4.10 设 c, 和 ci 分别 为 总 体 的 偏 度 系 数 与 妖 度 系数 ， 
c; 和 eu 分 别 为 它们 的 矩 估计 , 则 二 和 上 分别 为 < 和 和 wc 的 渐 近 正 态 
估计 ,其 渐 近 方差 分 别 为 
《4pEpe 一 12ptpsp — 24p8p0 十 pep 十 35/A 
二 368) /4025) 


和 
(pep 一 dtaps 一 SpA 十 4 了 一 抽风 十 lp 
+ 16228) AAA 
当 总 体 为 正 态 时 ,其 值 分 别 为 6 和 24. 
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11.5 贝 叶 斯 估计 


11.5.1 基本 概念 


在 前 几 节 中 ,所 讨论 的 估计 方法 与 概念 有 一 个 重要 的 前 提 , 即 
待 佑 参数 是 一 个 确定 的 常量 . 但 是 在 某 些 实际 问题 当中 , 待 估 参 数 
并 不 是 一 个 常量 ,而 是 具有 随机 性 的 量 . 例如 , 基 工 片 生 产 的 产品 
的 日 废品 率 , 显然 是 逐日 波动 的 ,在 一 段 时 期 (例如 一 个 月 ?中 ,将 
日 庆 品 率 看 成 是 一 个 常数 就 不 符合 实际 情况 . 因此 ,检验 员 每 天 进 
行 抽样 检验 废品 率 时 ,实际 上 是 检验 当日 的 度 品 率 . 假定 该 工厂 过 
去 一 段 时 间 内 日 眠 品 率 都 较 低 , 而 今天 抽样 的 结果 中 废 癌 较 多 ,这 
就 有 两 种 可 能 性 ,第 一 种 可 能 性 是 废品 率 确实 增高 了 ;第 二 种 可 能 
性 是 废品 率 并 无 明显 增高 ,而 蚌 碰 巧 抽 到 一 个 不 好 的 样本 . 因此 应 
分 别 考虑 . 

由 上 面 的 格子 可 以 得 出 一 种 不 同 的 统计 推断 的 观点 , 即 贝 叶 
斯 (Bayes) 学 派 的 观点 , 下 面 来 介绍 贝 叶 斯 学 派 的 一 些 基本 概念 ， 
首先 , 待 估 参 数 9 不 再 能 看 成 为 常数 ,而 是 随时 间 ( 或 空间 ) 推 移 前 
不 断 变 化 的 糊 机 变量 . 

定义 11.5.1 未 知 参 数 9 作为 随机 变量 , 它 的 分 布 五 (2) 称 
为 先 验 分 布 (prior distribution). 

先 验 分 布 可 能 是 已 知 的 ,未 知 的 或 部 分 未 知 的 . 我 们 首先 假定 
先 验 分 布 是 已 知 的 , 则 它 表 示 了 我 们 在 未 取 到 当前 的 样本 以 前 对 
8 的 已 有 的 知识 . 当 取 得 当前 的 样本 以 后 ,样本 中 包含 着 关于 8 当 
前 的 信息 . 显然 ,在 估计 8 的 值 时 ,最 合理 的 作法 是 把 关于 8 的 已 
有 的 知识 ( 先 验 分 布 ) 和 包含 8 当前 信息 的 知识 (样本 ) 综 合 起 来 ， 
以 此 为 出 发 点 对 86 进行 推断 . 具体 的 作法 如 下 . 设 先 验 分 布 函 数 为 
吾 (90); 总体 分 布 函 数 为 F(zx19) 可 看 成 是 给 定 8 时 的 条 件 分 布 ,于 
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是 对 于 简单 样 市 部 (8 的 联合 分 布 函数 为 
Ca 了 (z| 扑 理 | 四 ). 设 样本 六 二 T,X 二 ,于 是 8 在 给 
定 禅 村 下 的 条 件 分 布 右 (81zxism,z,) 便 本 由 下 述 联 合 分 布 计算 
出 来 . 

定 兴 1.5.2 给 定 样本 天, 一 2 一 时 ,2 的 条 件 分 布 
五 (| 和 ex) 称 为 如 的 后 验 分 布 (postrior distribution). 

后 验 分 布 是 由 先 验 分 布 和 样本 所 唯一 决定 的 :换言之 ,在 后 验 
分 布 中 包含 了 我 们 对 2 的 过 去 和 现在 的 全 部 知识 ,因此 是 我 们 对 
8 进行 统计 推断 的 瞧 一 出 发 点 . 

如 何 从 后 验 分 布 再 (zz 出 发 对 已 进行 估计 昵 ? 首先 
要 给 出 “个 评价 估计 量 的 准则 . 

定义 11.5$.3 设 了 0,a) 为 一 个 非 负 函 数 , 它 表示 对 参数 真 值 
2, 用 ea 去 估计 时 所 产生 的 损失 , 称 为 损失 函数 (loss function). 

现 假 定 0 一 多 rz) 为 当 样本 六 二 zz ,站 二 x 时 ,所 产 
生 的 对 8 的 -个 估计 , 则 用 去 估计 8 时 ,所 造成 的 损 类 为 (0， 
站 .由 于 8 是 随机 变 址 . 衡量 尹 的 好 坏 就 不 能 只 考虑 对 某 一 个 @ 值 
的 估计 所 造成 的 损失 ,而 应 考虑 对 8 的 所 有 可 能 值 的 “平均 损失 ” 

定 尺 11.5.4 设 样本 一 zs 一 一 下 则 
民有 去 估计 总 的 后 验 风 险 (postrior risk) 为 

Rs) 一 下 [工人 8, 有 | 工 lv] 


= JC0.DdH Oro,). 


后 验 风 有 险 反 映 了 由 一 次 取样 产生 的 估计 的 平均 损失 . 在 一 次 
性 决策 问题 中 ,用 后 验 风 险 来 评价 估计 的 优 劣 是 适宜 的 .但 在 冤 次 
性 决策 问题 中 ,我 们 要 求 计算 对 样本 基 ，… ,XX; 的 取得 各 种 可 能 
值 所 造成 的 平均 损失 - 
定义 li1. 5.5 对 样本 XI + ;入 计量 =B(X) ,的 
风险 (risk) 为 
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Ra 一 EL[LCO OCN,, ,RX,)]. 

注 后 验 风 险 是 把 站 ,二 zi , 尽 , 二 xz, 固定 下 来 ,对 上 (0,6) 
关于 8 求 期 望 ,而 风险 是 对 工人 (08CX wuX) 同 时 关于 9,XX， 
… :天 。 求 期 望 . 易 见 

一 ECRe(X,,-" ,KX,)). (11.7) 

损失 函数 的 确定 要 根据 问题 的 项 要 . 在 一 般 的 佑 计 问 题 中 可 
取 工 (g,a) 一 (9 一 中 : 或 者 Lt8,4a)=19 一 a|. 在 实际 问题 中 ,应 根 
据 实际 背景 来 决定 损失 函数 . 例如 在 本 节 开 闫 所 举 的 例子 中 ,对 日 
废品 率 8 若 估计 过 高 , 则 直接 造成 厂家 经 济 损失 ; 著 估 计 过 低 , 则 
造成 信誉 的 损失 (最 终 仍 转化 成 经 济 损失 ), 因 此 损失 函数 可 取 如 
下 的 形式 : 
ha 站, 当 a > 9， 
hd a) 1 当 a 
其 中 衣 ,hi 均 为 (0,1) 上 的 非 负 增 函 数 . 


11.5.2 贝 叶 斯 估计 


从 贝 叶 斯 学 派 的 观点 来 看 ,评价 一 个 估计 引 的 优 劣 是 看 它 的 
后 验 风 险 与 风险 的 大 小 . 对 于 一 次 性 使 用 的 佑 计量 ,希望 其 后 验 风 
险 傅 小 合 好 ,对 于 密 次 重复 使 用 的 估计 量 , 则 希望 其 风险 傅 小 您 
好 , 由 此 引出 

定义 11.$.6 设 待 估 和 参数 8 为 随机 变量 , 义 ;,… ,XX, 为 样本 ， 
6 一 6(R 为 8 的 一 个 估计 . 对 给 定 的 损失 函数 工人 9,a)， 
记 为 8 的 风险 ( 见 11.5.5). 若 对 8 的 任 一 估计 加 用 已 : 记 其 
风险 ,有 


Ld,a) = | 


Re & Re ， 
则 称 妆 为 内 叶 斯 估计 (Bayes estimate )， 
具 叶 斯 估计 为 贝 叶 斯 意义 下 的 最 优 估计 ， 除了 先 验 分 布 和 样 
本 分 布 之 外 , 贝 叶 斯 估计 还 与 损失 函数 的 选取 有 关 . 
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定 头 41.5.7 在 定义 11.5.6 的 记号 之 下 . 设 给 定 样 本 和 ,一 
Te 记 Ri(Czlszo) 为 站 的 后 验 风 险 ( 见 定义 11, 5, 4)， 
对 于 日 的 任 一 人 秆 计 如 用 Ri (zs… 4xw) 记 其 后 验 风险 有 

Rear yy Ts) Rg Cr ). 
则 称 吕 为 后 验 风 险 时 小 估计 . 

后 验 风 险 最 小 估计 有 重要 的 实际 和 理论 意义 .很 据 (11.2) 式 
易 见 ;车 -- 个 估计 6 对 每 个 可 能 实现 的 样本 点 都 是 后 验 风 险 最 小 
估计 , 则 它 必 然 是 贝 叶 斯 估计 . 在 很 一 般 的 条 件 下 ,这 个 结论 的 道 
命题 也 上 成立 . 

定理 11.5.8 设 6= 训 天,,…', 汪 ,) 为 8 的 一 个 估计 ,其 风险 

民 < cp， 
则 凶 汶 由 时 斯 估计 的 充分 必要 条 件 是 对 每 一 可 能 实现 的 样本 点 ， 
和 为 后 验 风 险 最 小 估计 . 

定理 11. 5.8 被 称 为 是 "后 验 风 险 最 小 原理 ”. 

下 面 考虑 损失 育 数 为 L(6,4) 一 (6 一 a)? 的 情形 . 给 定 样本 已， 
二 Xa"; 叉 , 一 zw: 记 后 验 分 布 为 日 (8|z,…y.zs). 这 时 用 a 去 估计 
8 的 后 验 风 险 为 


Res ) = 人 — a)dH Oz) 
一 好 一 2 所 百 (8|2 


十 上 PdE8(Bz ex) 


一 le — 2aE[8 | rs yr + EDR | r,s ,re, . 
显然 ,这 是 一 个 关于 a 的 二 项 式 , 而 为 使 后 验 风 险 达 到 最 小 ,应 有 
如 一 五 [如 zy 

定理 11. 5.9 设 98 为 待 信和 参数 ,XX ,… ,天 , 为 样本 , 则 对 损失 
函数 2 一 a 关 ,中叶 斯 估计 为 
”167。 


6 = ELO|X,, ,XJ. 
若 损失 函数 为 二 (8e) 一 18 一 aa , 则 用 a 去 信 计 8 的 后 验 风 
险 为 


RCr ie) 一 [ (9 ~ aldH(Ol rs sr,), 


在 这 种 情形 下 ,为 求 R, 的 最 小 值 点 ,可 利用 下 述 引 理 : 

引 理 11. 5.10 设 久 为 随机 变量 ,hla) 一 E|X 一 a|, 则 h(a) 

的 最 小 值 在 系 的 中 位 数 mm 天) 处 达到 , 即 
ElX— mr)| 一 minE |X — a|. 

利用 上 述 引 理 可 知 ,对 损失 冰 数 18 一 a1,8 的 后 验 分 布 的 中 位 
数 jCzxl,… ,xa) 使 后 验 风 险 村 到 最 小 . 

定理 11. 5.11 设 8 为 待 估 参 数 ,天 ,…，XX, 为 样本 , 则 对 手 
失范 数 j9-al, 贝 叶 斯 估计 为 

= pCR ,es KR,), 
其 中 (Xi … ,XX,) 为 日 关 于 样本 XX ,和 的 条 件 中 位 数 . 

下 面 给 出 刀 个 计算 的 例子 . 

例 11.5.12 设 8 为 一 批 产 品 中 的 次 品 率 (0 寺 8<1). 设 8 的 
先 验 分 布 为 [0,1] 区 和 间 上 的 均匀 分 布 U[9.1]. 现 从 该 批 产 品 中 抽 
得 nn 个 样品 ; 记 其 次 品 个 数 为 卫 , 取 损失 函数 L(9,a) 一 (8 一 a)*. 
求 # 的 贝 叶 斯 估计 . 

解 扎 的 分 布 为 二 项 分 布 Bx; 四 ,于 是 让 与 8 的 联合 频率 
函数 为 [2 六 一)" ,7 二 0,1,… ni0 坟 9&1. 因此 ,给 定 X 一 x 
时 ,8 的 后 验 分 布 频率 函数 为 

(2)801 一 9 
(中 ja 一 oa 


有 十 1 一 和 十 1) 


ht(8|zx) 一 


Cl 一 的” 7, 
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根据 定理 11. 5.9, 由 叶 斯 估计 为 
6= E[9|X = 2] 


一 Pa 2) 1 
-GD 和 全 Dj (一 人 "dg 


_ 工 十 1 


n+ 2" 
这 时 可 算得 贝 听 斯 风险 为 jc 二 育 : 而 通常 用 x/ 去 估计 4 的 贝 


叶 斯 风险 为 去 一 个 令 人 感 兴趣 的 事实 是 :在 这 个 例 中 , 当 样 品 中 
无 次 品 ( 或 全 部 为 次 品 时 ), 不 是 用 0( 或 用 1) 来 估计 次 品 率 9 ,而 
是 用 二 5| 或 用 2 十 ] 来 估计 ,这 与 通常 的 估计 X/n 是 不 同 的 . 

例 11.5.13 设 习 ,为 抽 自 w2,1) 的 简单 样本 ,2 的 
先 验 分 布 为 WwW(0, 包 ) ,损失 函数 为 二 (9,a) 一 (9 一 4 求 2 的 贝 叶 
斯 估计 . 

解 〈2, 和 ,于 的 联合 密度 为 


_1. __ A: 2 | 1 1}" | cS AY2 
a /2b°) | expl 和 2 (x — 0/2), 
注意 其 指数 为 
1 1 二 ny nr |? 
一 二] 


其 中 三 二 二 7x,C 为 与 9 无 关 的 量 , 易 知 给 定 样本 一 xi， 


X 一 mm 时 ,8 的 后 验 分 布 为 尽 
斯 估计 为 


nb 
本 各,T 关 -由 此 知 0 的 中叶 


nh 
?= Tr ， 
其 中 束 为 样本 均值 . 贝 时 斯 风险 为 二 各- 万: 
。169 。 


在 此 例 中 闵 是 方 卷 最 小 无 偏 估计 ,也 是 极 太 似 然 佑 计 * 而 由 
叶 斯 估计 相当 于 将 广 乘 上 一 个 小 于 1 的 正 数 因子 ,即将 压缩 一 
点 , 这 是 因为 先 验 分 布 N(0, 铺 ?说 明 8 的 取信 应 和 集中 在 0 点 附近 ， 
因此 在 用 吏 去 估计 如 之 值 时 应 适当 向 0 点 附近 收缩 一 下 . 


11. 5.3 经 验 贝 时 斯 估计 


贝 叶 斯 估计 的 缺点 是 先 验 分 布 往往 很 难 确定 - 当先 验 分 布 未 
知 或 先 验 分 布 中 舍 有 未 知 参数 时 就 无 法 找到 贝 叶 斯 估计 . 罗 宾 斯 
(Robbins) 于 1955 年 提出 了 经 验 贝 时 斯 方法 (etmpirical Bayes 
method) ,在 -一 定 程度 上 克服 了 这 个 困难 . 设 一 个 总 体 有 分 布 
,其 中 8 为 未 知 参数 . 假设 6 随时 间 流 逝 而 波动 ,因此 某 一 时 刻 8 
的 取 值 可 以 看 成 是 随机 的 . 作为 历史 资料 ,假定 我 们 有 m 批 样本 : 
二 (人 则 这 批 样本 包 
含 了 8 过 去 取 值 的 一 些 信息 . 设 当 前 的 样本 为 Xs+ 一 
(XP Ke | ,现在 要 用 这 些 历史 样本 与 当前 样本 来 估计 8 
当前 的 值 . 

方法 11. 5.14 经 验 贝 叶 斯 方法 “” 沪 方法 的 基本 思想 是 : 利 
用 历史 样本 和 ,和 去 估计 的 先 验 分 布 , 设 得 到 的 先 验 分 布 
的 估计 为 至 (分 .把 殖 (0) 当 作 4 的 真正 先 验 分 布 , 与 当前 样本 
器， 合 在 一 起 可 以 得 到 一 个 贝 叶 斯 佑 计 . 

显然 , 先 验 分 布 的 估计 瑟 ( 外 与 真正 的 先 验 分 布 五 ( 人 不 必 完 
全 相同 ,因此 用 经 验 贝 叶 斯 方法 得 到 的 估计 不 一 定 是 贝 叶 斯 估计 . 
此 外 ,下 (的 可 以 有 不 同 的 形式 (用 不 同 的 方法 去 估计 先 验 分 布 
昌 (09)); 因 此 由 同一 批 历 史 样 本 和 当前 样本 可 以 得 到 不 同 的 经 验 
贝 叶 斯 估计 . 

下 面 介绍 两 种 从 实用 的 观点 上 看 可 行 的 经 验 贝 叶 斯 估计 
方法 . 

方法 11. 5.15 第 一 种 经 验 贝 叶 斯 估计 方法 ”假定 根据 过 去 
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的 经 验 已 知 乡 的 先 验 分 布 有 给 定 的 分 布 形 式 Hi( 四 ,其 中 为 末 
知 参数 , 因此 ,可 以 用 历 忠 样 本 ,XX ,对 产生 一 个 估计 4 一 
hiXi ， 江 。) ,而 先 验 分 布 的 估计 为 再 ;(9. 再 利用 吾 i20) 作 为 先 
验 分 布 ,与 当前 样本 外 +, 一 起 来 构成 内 叶 斯 估计 . 

例 11.5.16 设 总 体 下 服从 NC9.1) 分 布 ,损失 函数 上 (8,a) 
二 (4 一 a)?,8 的 先 验 分 布 为 NC0,e?), 其 中 0 为 未 知 参 数 .由 此 可 
以 算得 六 的 元 条 件 分 布 为 N (0,1 十 ex:) (请 读者 自行 验证 ). 假定 
历史 样本 为 苹 ,,… ,XX, ,当前 样本 为 卫 ._1. 于 是 由 历史 样本 可 得 史 
的 … 个 估计 为 


= DR 


于 是 6 的 先 验 分 布 的 估计 为 NC0,57). 根据 例 11. 5. 13 知 贝 叶 斯 
估计 为 


Oo 
4 = Tt 


方法 11. 5.17 第 二 种 经 验 贝 叶 斯 方法 ”假定 先 验 分 布 的 形 
式 事先 也 无 法 确定 , 则 问题 变 得 更 为 困难 . 根据 8 在 总 体 分 布 中 的 
特征 性 质 ,我 们 可 以 用 通常 的 估计 方法 ,从 历史 样本 三 = 
| 天生] 一 出发 对 8 得 到 头 个 估计 
页 一 站 一 克基, 将 这 站 不 估计 着 成 是 8 的 一 个 容量 为 
m 的 简单 样本 , 便 可 得 一 个 经 验 分 布 媚 。( 见 定义 14.2.5). 用 瑟 。 
作为 先 验 分 布 的 佑 计 与 当前 样本 Xj; 合 在 一 起 , 便 订 得 到 一 个 由 
叶 斯 估计 . 

例 11.5.18 设 总 体 分 布 有 新 率 函 数 Azl0) ,其 中 加 为 未 知 
参数 , 设 站,… ,向 , 为 用 mr 个 历史 样本 得 到 的 关于 8 的 mx 个 估计 ， 
当前 样本 为 姜 ,,…*…* ,XX, ,损失 孙 数 取 (8 一 a)*, 于 是 8 与 当前 样本 有 
联合 的 (经 验 ) 频 率 函 数 : 


LD Ef). 
二 1 j= 
。171 。 


于 是 8 的 后 验 频率 隧 数 为 
Pr »][ /Cl0) 


I fe 


C(O) = 


4 


其 中 T6464) 为 示 性 通 数 , 即 
。 : 当 8 二 在， 
{6 一 


0， 当天 各 
此 时 由 叶 斯 估计 为 
V0 fr) 
0 = |9k (0)d0 = | 
SH 6) 


统计 理论 关心 的 一 个 问题 是 :经 验 帆 叶 斯 估计 与 理论 的 贝 叶 
斯 估计 的 关系 . 这 方面 有 下 述 概念 ， 

定义 11.5.19 设 Xi…， 为 历史 样本 ,X41 为 当前 样本 ， 
经 验 贝 叶 斯 估计 为 各 + = 二 全 部 w+1 | 及 1 ， 避 。), 用 屋 记 理论 上 的 
贝 叶 斯 风险 值 ,Rsi1 为 加 + 的 (无 条 件 ) 风 险 . 车 

lim R,;, = R. 

则 称 己 , ,为 渐 近 最 优 经 验 贝 叶 斯 估计 . 

潮 近 最 优 风 叶 斯 估计 的 思想 是 ; 当 上 访 史 样本 足够 多 时 ,可 以 任 
意 精 确 地 再 现 乡 的 先 验 分 布 ,因而 可 以 任意 精确 地 逼近 贝 叶 斯 
风险 . 
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12 区 间 估 计 
12.1 置信 区 间 


12. 1. 1 基本 概念 


在 点 估计 问题 中 ,对 …' 个 未 知 参 数 9 用 一 个 样本 的 函数 六 去 
估计 它 , 当 纵 定 样 本 值 时 ,5 是 一 个 点 . 估计 的 精度 用 5 关于 8 的 均 
方 误差 (对 元 偏 估计 来 说 是 方差 ;来 衡量 . 而 区 间 和 估计 是 从 另 一 个 
角度 来 解 岂 估 计 2 的 问题 . 

定义 12.1.1 设 8 为 一 维 末 知 参数 ,外 和 所 为 两 个 统计 量 ， 
满足 广安 负 , 用 区 间 [ 名 ,名 ] 去 估计 可 能 存在 的 范围 , 称 为 8 的 一 
个 区 间 居 计 (interval estimation). 

同 构造 点 估计 一 样 , 构 造 区 间 舍 计 也 要 遵循 一 定 的 准则 . 由 不 
同 的 准则 出 发 便 得 到 不 同 的 区 间 估 计 . 目前 在 应 用 中 最 广泛 的 构 
造 区 闻 估 计 的 理论 和 方法 是 源 于 内 曼 (Neymann} 的 置信 区 间 的 
概念 . 

定义 12.12 设 [ 雇 ,名 ] 海 9 的 一 个 区 间 估 计 , 若 对 给 定 的 正 
数 1 一 a 及 8 的 任 一 可 能 值 8# 有 

Pr(d 1 一 a. 
则 称 { ,名 ] 为 8 的 一 个 是 信 水 平 (confidence level) 为 1 一 a 的 年 
信 区 间 (ceontfidence inteval). 

注 

《1) 在 定义 12.1,2 中 ,Poe 是 指 由 9 一 ?8 时 的 样本 分 布 计算 的 
窒 率 . 在 其 些 特 定 的 场合 下 ,P。 可 能 与 8 无关. 

《2) 在 置信 区 间 的 概念 中 ,9 虽然 未 知 ,但 被 看 成 是 固定 常数 ， 
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而 区 间 端 点 页 和 高 作为 样本 的 函数 是 随机 变量 . 因此 事件 {8€ 
[5 ,6])} 的 确切 合 义 是 “随机 区 间 [5. ,如 ] 包 含 常数 09, 但 习惯 上 也 
常 说 “8 落 在 区 间 [ 和 外, 记 ] 内 ?” 

置信 区 间 的 概念 有 一 个 频率 解释 :对 5 取 任 何 可 能 值 ,在 固定 
的 置信 水 平 1 一 a 下 多 次 使 用 同一 个 区 辣 估 计 ( 样 本 值 虽然 每 次 不 
同 , 但 构造 区 间 估 计 的 方法 不 变 ), 则 8 落 在 [名 , 织 ] 内 的 频率 大 致 
为 1 一 a; 而 8 落 在 [,] 之 外 的 频率 大 致 为 a 

置信 水 平 1 一 z 的 大 小 反映 了 党 信 区 间 的 可 靠 程 度 ,在 实用 
中 常 取 a 一 0.90,0.95 或 0.99 等 值 . 置信 区 间 的 平均 长 度 24 = 
严 ( 记 一 庙 ) 的 天 小 则 反映 了 置信 区 间 的 精度 . 通常 ,在 固定 样本 容 
量 ”* 时 ,置信 水 平 走高 (1 一 越 大 ), 则 置信 区 间 的 精度 就 越 低 ‘ 区 
出 的 平均 长 度 越 大 ) ;反之 亦 然 . 因此 ,在 给 定 的 置信 水 平 下 ;为 取 
得 足够 的 精 嵌 就 必须 使 样本 的 容量 足够 太 ， 

例 12.1.3 设 总 体 分 布 为 Win di) ,其 中 为 未 知 参数 ,o6 
已 知 ,X1,…,XX, 为 简单 样本 , 求 的 置信 水 平 为 0.95 的 置信 
区 河 . 

由 于 样本 均值 了 为 上 的 一 个 理想 的 点 估计 ,因此 考虑 以 成 为 
中 心 来 构造 六 的 区 间 估 计 , 由 环 ~N[ w, 到 | 知 


I 
因此 (注意 上 的 分 布 与 无关!1) 
P(— 1.96 U1.96) = 0.95. 
而 事件 {一 1. 96 才 U1. 96)=— | 1.96<~ -多 <1.96| 可 
通过 不 等 式 变换 转化 为 一 个 等 价 的 事件 
Ty 


一 Le} 
十 1.96 一 一 ). 
A | 


= 和 人 二 多 NG， 
4 


成 一 1.96 
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因此 取 = 一 1l. 96 -六 一 玉 
Pip 本 [LA ze] 一 0.95, 


六 此 [LA yp] 为 产 的 一 个 置信 水 下 1 一 a 的 慎 信 区 间 . 区 间 长 度 为 
常量 : 24 一 ; 则 应 取样 本 容量 


《1. 96oo/d):. 

在 此 例 中 ,置信 水 平 1 一 & 的 党 信 芝 间 不 是 唯一 的 , 例如 ,通过 
查 正 态 分 布 函 数 喜 , 容易 得 到 POU 过 一 2.33) 一 0.01 而 已 (CU 
1.76) 一 0.04,. 因此 PO 33UE1. ?9 一 95, 相应 得 到 的 署 


信 区 间 为 | 辣 不 是 以 


二 
又 为 中 心 且 区 间 长 人 


容易 证 明 , 在 所 有 由 U 所 导出 的 上 的 置信 区 闻 中 ,以 文 为 中 心 的 
区 间 长 度 最 小 ,因此 最 为 常用 . 但 在 某 些 特定 的 场合 ,例如 当 产 佑 
计 得 过 小 会 产生 某 种 不 良 后 果 时 ; 则 后 一 类 型 的 置信 区 间 也 可 能 
到 . 总 之 ,有 时 根据 问题 的 需要 ,只 需 佑 计 未 知 参数 的 下 限 或 
上 限 . 
定义 12.1.4 设 为 末 知 参数 ,1 一 a 为 给 定 的 置信 水 平 , 若 
统计 量 8 和 #8 分 别 满足 
Peld 和 个 守 1 一 ay 0, 
P11 ey 0, 
则 称 2 四 为 9 的 置信 水 平 1 一 a 的 置信 下 (上 ) 限 Ceconfidence lower 
《upper) limit}. 
推论 12. 1.3 设 m+am 一 sa 为 乡 的 置信 水 平 1 一 m% 的 署 信 
F 限 ,为 2 的 置信 水 平 1 一 e 的 置信 上 限 , 则 [08,8 为 8 的 置信 水 
平 1 一 a 的 罩 信 区 间 . 
由 例 12. 1,3 还 可 看 出 ,构造 的 区 间 舍 计 涉 及 到 统计 是 一 
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va (下 一 /gos 它 有 两 条 重要 性 质 ,第 -一 ,UU 的 分 布 与 未 知 参数 4 
无 关 ; 第 二 ,U 是 的 央 格 单调 函数 ,因此 , 形 如 {xz, 志 Dx,} 的 事 
件 可 等 价 地 转化 为 形 如 { 记 志 1 所 je). 因此 ,寻找 有 这 两 条 性 质 的 
统计 量 就 成 为 构造 区 和 间 估 计 的 一 个 重要 依据 ,在 多 数 场 合 下 是 行 
之 有 效 的 (但 不 是 在 任何 场合 下 都 有 效 ). 


12. 1. 2 单 正 态 总 体 参 数 的 填 信 区 间 


设 总 居 分 布 为 N Co) ,和 ,及 为 简单 样本 ,1 一 a 为 给 定 
的 置信 水 平 . 

沪 法 12,1.6 or 已 知 时 ,yp 的 置信 和 区间. 

这 个 情况 已 在 例 12. 1. 3 中 讨论 过 ,记忆 = vn ( 久 一 fa, 则 
UCU~NCGOD). 取 这 01m 之 yao 十 而 二 2 则 PU>z ) = ,PUT 
一 zs ) 一 0; 其 中 zs 和 zs 分 别 为 NC0,1) 的 上 a 和 上 a 分 位 数 ,可 
在 正 态 分 布 函 数 表 ( 附 表 1) 中 查 到 . 因此 

Pl—z SURE) 一 上 一 《ao 十 本 ) 一 上 一 
将 关于 立 的 不 等 式 变 到 关于 jy 的 不 等 式 ( 见 例 12.1.3), 有 


P|X— KET+%, 


=—=1—e&. 


因此 [又 -= 一 于 ,和 + 天 为 w 的 一 个 去 信 水 平 1-x 的 置 


信 区 间 . 当 m= 一 和 一 wj2 时 ;区 间 长 度 为 最 短 , 即 248 当 取 
m 一 0(0 一 的 时 , 便 得 到 A 的 置信 水 平 1 一 * 的 置信 下 限 2 
pt 过 上限 为 A 一 Ee 天 


方法 12.1.7 ww 未知 时 ,wp 的 置信 区 间 
比 时 统计 量 上 = va 一 上 Ac 仍 服 从 NC0,1) 分 布 ,但 UU 不 
只 是 产 的 函数 ,还 是 未 知 参 数 的 函数 , 因此 不 能 用 U 六 构造 px 
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的 性 信 区 间 . 英国 统计 学 家 本 塞 特 (Gosset)( 笔 名 Student) 提 出 用 
T= vn(R— ps. 


来 移 志 的 区 则 信 计 ,其 中 二 = 二 写 (X 一 %, 称 为 样本 村 

准 差 . 了 就 是 在 U 中 用 S 代替 z 所 得 到 的 . 由 定理 6.4.21 知 , 了 ~ 

iCn 一 1); 自 由 度 为 一 1 的 1 分 布 .因此 对 om 十 wm 二 a， 有 
Pi — DETEun— 1) =1— a, 

其 中 te Cn 一 1) 各 (nn 一 1) 分 别 为 tn 一 1) 的 上 ow 和 上 分 位 数 , 

将 关于 了 的 不 等 式 变 换 到 关于 gz 的 不 等 式 , 有 


Pp Rh DST+ti 


和 上 
万 | 
因此 ,x 的 置信 水 平 1 一 a 的 一 个 图 信 区 间 为 [下 一 ttn 一 1 =， 


Xt nD) | 当 m= 二 a/2 时 区 间 长 度 最 短 ,为 2d 一 


vn 
2 4 一 DD- 污 "4 是 一 个 随机 变量 . 相应 里 入水 平 的 置信 上 限 为 
这 十 i -4m 一) 一 ,置信 下 限 为 了 oD 


方法 12. 1.8 jk 已 知 时 ,se 的 置信 区 
仿照 由 如 出 发 导出 均值 jx 的 置信 区 间 的 考 法 ,此 处 用 o 的 


极 大 偶然 估计 字 = 二 》， (X 一 p)? 来 导出 a 的 牌 信和 区 间 . 由 并 
分 布 的 定义 容易 推出 
K? = n6:/o: = 》) (大 一 H/o ~ Kln)., 


因此 ,对 a 十 wy 二 a 有 
P(N) RR E12, 
其 中 和 好 -00 和 六 Co 分 别 为 失 人 的 上 1 一 om 和 a 分 位 数 ,可 通 
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过 查 x? 分 布 表 ( 附 表 2) 来 得 到 . 将 事件 { 答 -00 委 天 安 拓 (9 作 
等 价 变形 得 | 址 sos | ,这 就 给 出 了 or 的 一 个 置信 水 
平 1 一 a 的 置信 区 间 ， 在 实 有 中视 ww 一 a 一 a/2, 但 不 同 干 估计 
的 场合 ,这 样 做 除了 方便 之 外 并 没有 什么 特别 的 意义 相应 置信 水 
平 的 告 信 上 限 为 FP 一 05 下 全 ,置信 下 限 为 :一 ny 

方法 12. 1.9 pg 未 知 时 ,a? 的 置信 和 区间 

此 时 ,0 的 极 大 似 然 估计 为 5* 一 二 一 下 , 且 
Ki—(n—1)S/o ~ (mn 一 17( 见 定理 6.4.17). 因此 ,o 的 水 平 
1 一 e 的 置信 区 间 有 形式 


aces Ps) 
En Oo 1 Xi tn CO— 1)" 


其 中 必 十 一 w 相应 水 平 的 置信 下 限 为 (x 一 1)5*/R(n 一 1), 置 信 
上 限 汶 (na 一 1)9272 tn 一 1). . 
12.1.3 双 正 态 总 体 均值 整 与 方 总 比 的 置信 区 间 


设 成， 2 和 和 Ys Yh, 为 分 别 取 自 两 个 总 体 NCA ,907) 和 
No 号 ) 的 简单 样本 ， 记 二 pa ps A= oats, 设 l—a 为 纵 定 的 
置信 水 平 . 

方法 12.1.10 并 和 台 已 知 时 ,5 的 置信 区 间 

记 叉 = 工 > Xi 一 二 27， , 则 又 -了 为 8 的 方差 最 小 天 
偏 估计 , 且 


破 


" 178* 


取 十 % 一 a, 于 是 
P{— Za Ss U Es zo | 一 1—&. 


其 中 =。 和 z。 分 别 为 N50,1) 的 上 ww 和 上 wm 分 位 数 , 事件 


(<U<s | 的 另 一 等 价 形 式 为 | Ye 


XY+, 下 这 就 给 出 了 5 一 jn 一 je 的 一 个 置信 水 平 1 
一 # 的 回信 区 间 . 当 o = 一 e 或 一 aa 时 ,置信 区 间 的 左右 端点 分 别 
给 出 了 了 的 置信 水 平 1 一 a 的 置信 下 限 利 置 信 上 上 限 . 

方法 12.1.11 有 与 受 未 知 , 但 已 知 四 = 中 时 ,8 的 置信 区 间 


此 时 记 站 二 和 f= 咀 , 则 二 后 (了 一 了 一 9)/o 仍然 服从 


Cn 一 1)S% 十 oo 
姓 十 更 一 


去 代替 o, 得 到 一 个 新 的 统计 量 


rp Ht 7 TF 
T= Ns 了 — 8)/S,, 


其 中 5 一 二 了 了 (一 了 ,i 一 各 二 0, 一 7》 分别 
是 用 样本 和 了 样本 构 遭 的 王 的 无 从 估计 . 因此 3 是 的 无 仿 
估计 . 由 定理 6. 4.23 知 下 一 红 m 十 天 一 2). 因此 对 mm 十 的 一 ar 

疡 | 一 二 人 十 更 一 轨 委 了 过 可 人 十 更 一 人] 一 1 一 民 
由 此 给 出 5 的 一 个 置信 水 平 1-a 的 置信 区 间 为 


,一 
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及 -一 了 一 加 人 二 一 »s,| _ 


nn 


和 -+ 25, nn 


nn 

在 实际 问题 中 常 取 二 a 二 a/2. 当 a =a 或 如 = 时 ,区 间 的 左右 
端点 分 别 给 出 了 警 信 水 平 为 1_x 的 置信 下 限 和 置信 上 限 . 

方法 12. 1 12 史 与 性 未 知 且 不 等 时 ,3 的 置信 区 间 
在 前 两 种 情形 中 ( 即 f 与 地 已 知 和 j 一 过 但 未 知 ), 构 造 9 一 
一 各 的 区 癌 舍 计 所 依据 的 统计 量 和 了 有 一 个 共同 的 特点 , 即 
它们 关于 样本 X 和 样本 了 分 别 是 对 称 的 , 即 不 论 对 六,,… ,外 ,或 
站 ,7。 作 什 么 样 的 重 排 ,5 和 了 的 值 是 相同 的 . 但 当 与 避 
未 知 且 不 必 相 等 时 ,要 构造 这 样 的 统计 量 阳 使 其 分 布 与 未 知 参数 
无 关 是 不 可 能 的 下 面 介绍 两 种 构造 区 间 估计 的 方法 . 

首先 ,不 失 一 般 性 地 假定 nssm ,有 

定理 12.1.13 设 W 一 XX 一 cysi 一 1,… wm, 其 中 


1 1 


pr tm 当 j==i， 
1 1 ， . 
Ci 一 tm 当 j 隆 i] 护 n 

于. 当 了 > 于 

则 Wi WW, 独立 同 分布 No 其 中 人 一 向 一 Foyo 一 地 十 
2 
利用 此 定理 , 令 
Te, {12.1) 
mw 


+ 站。 


其 中 琵 一 二 一 5 一 全 ?2， 则 了 一 起 一 二 
( 见 定理 6.4. 21). 因此 类 似 单 正 态 总 体 中 方差 未 知 时 ,均值 级 置 
信和 多 各 的 构造 法 得 到 5 的 一 个 置信 水 平 1 一 «的 置信 区 间 为 

到 一 所 ( 一 1) 六 呈 十 (一 了 党 | 


nn 


其 中 al 十 一 ae 

这 样 构造 的 区 间 估 计 的 缺点 是 它 关 于 样本 了 不 对 称 . 但 理论 
上 可 以 证 明 , 这 个 区 间 佑 计 的 精度 还 是 不 错 的 , 在 实际 使 用 时 应 注 
意 : 由 于 样本 的 排列 往往 有 某 种 “自然 ”的 顺序 ,例如 在 寿命 试验 
中 ,样本 的 记录 往往 是 依 寿命 从 小 到 天 的 顺序 排列 的 ,因此 在 构造 
Wlisen 之 前 应 对 了 样本 ( 即 容量 大 的 样本 ?做 一 随机 的 重 排 ， 

另 一 个 思路 是 :保持 统计 量 关 于 样本 的 对 称 性 ,而 分 布 是 近似 
的 . 有 

定理 12.1.14 设 

.| S& SF. (12. 2) 
nn nr 

其 中 号 一 pe 一 0533 ,7 

风 7T* 的 分 布 近 似 地 与 自由 度 v 的 1 分布 相 同 ,其 中 


4 1 | * l 2 fp2 
7 一 | a 十 元 | /zee 1 + ae 1 GT AD3。 
利用 此 定理 , 令 i 一 88/S ,将 4 代入 的 表达 式 中 得 到 风 可 以 

近似 地 认为 


i 
由 此 得 到 3 的 一 个 近似 置信 水 平 为 1 一 a 的 置信 区 间 为 


2 加 . 3 2 

7 /了 DA 全 + 村 | 
和 nl mt d + mi 
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这 两 种 区 间 居 计 的 实际 效果 往往 相差 不 大 . 
方法 12.14.15 pm 和 pw 均 已 知 时 ,4=o?/gi 的 置信 区 间 


此 时 , 剖 一 直 DCX 一 加 和 加 一 二 了 (Y, 一 各 分别 为 
和 中 的 最 小 方差 无 偏 估计 ,因此 考虑 由 统计 量 


2 Pr 了 
be _1 9 


全 /0 全 
出 发 来 构造 4 的 置信 区 间 . 由 定义 6.4.24 易 知 下 一 下 Cn) ;自由 
度 为 (nm) 的 下 分 布 . 因此 . 
PlF- a mm) FF, (n,m))—1— a, 

其 中 me = “(Rs 和 Fe Ca 分别 为 Fin ;74) 的 上 1— 
% 种 上 分 位 数 ,可 由 下 分 布 表 ( 附 表 4) 上 查 得 . 因此 ,2 的 转 信 
水 平 1 一 a 的 属 信 区 间 为 | 

| GAO 1/ 603 | 

Fa (nem) Fe Cas) 
当 二 a 或 m=a 时 ,区 间 的 左 端 点 或 右 端 点 给 出 置信 下 限 或 置信 
上 限 . 
方法 12. 1.16 pa 和 jw 均 未 知 时 ,4=o?/oi 的 置信 区 间 


此 时 , 令 
_ 
1 TX 
Fs=A Ey 
网 玉 一 下 (一 1 一 1), 4 的 水 平 1 一“ 的 置信 区 间 为 
| 信和 AS 了 S/Ss | 
Fm lm DF no lm Oo 1 


其 中 oo 十 一 &. 类 似 前 面 的 情形 ,可 得 到 置信 上 .下限 . 
12. 1. 4 渐 近 置信 区 间 


在 ( 单 或 双 ) 正 态 总 体 的 区 同 估 计 中 ,我 们 发 现 一 个 令 人 满意 
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的 事实 , 即 可 以 构造 一 个 待 估 参 数 和 样本 的 函数 六 ,满足 以 下 两 个 
条 件 : 第 一 , 的 分 布 与 未 知 参 数 无 关 , 且 这 分 布 < 如 正 态 ,x,t 和 
五 分布) 的 概率 值 有 表 可 查 ; 第 二 .kh 是 待 悄 参 数 的 单调 函数 ,因此 
形 如 {fh 和 } 的 区 间 可 以 转化 为 得 全 参数 的 区 间 . 
但 对 许多 非 正 态 总 体 的 区 间 佑 计 间 题 , 上 述 杀 件 不 租 存 在 . 需 
要 采用 别 的 办 法 . 当 样 本 容 二 较 太 时 ，- 个 简便 有 效 的 办 法 是 利用 
中 心 极限 定理 作 渐 近 置 信和 区 间 和 全 计 . 
例 12.1.17 设 总 体 芒 服从 0-1 分 布 ,PCEX=1)==p,P(KX= 
0) 二 1 一世 ,天 和。 为 简单 样本 .要 构造 疡 的 置信 区 间 . 这 样 的 
问题 在 产品 抽 祥 检验 中 经 常 庶 到 - 显然 从 入 一 二 >)X 出 发 来 构 
造 p 的 区 间 佑 计 是 自然 的 . 根据 中 心 极 限定 理 ( 和 定理 10, 1. 1 或 定 
理 10. 1,9) 有 
vn pp) 
Vp CO— p) 
因此 ,; 当 ”n 比较 大 时 ,有 
Vn (KR— pp) 
P| 2 < PE 1 
其 中 zs 为 NC(0,1) 的 上 a/2 分 位 数 .不 等 式 
W (KRC—p) 
vp py 
容易 变形 为 汪 项 不 等 式 ap: 十 护 十 c 所 0, 其 中 4a 一 十 (zs 
5 一 一 全 十 2 | 'C=n RR, 由 于 a 六 0 和 匡 判 别 式 4 一 天 一 4ac0， 
可 解 得 ap’ 十 bp 十 e 的 两 个 根 pi; 亏 ps; 因 此 上 述 不 等 式 的 等 价 形式 
为 志 所 #p 所 Py: 这 就 给 出 也 的 一 个 浙 近 置信 水 平 1 一 a 的 置信 区 
间 [p, ,psl 
例 12.1.18 设 总 体 分 布 为 泊 松 分 布 PCA) ,其 中 为 来 知 参 
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| 
> Nt0,1), 当 于 一 co 


SS 8 


数 ,已 。 为 简单 样本 . 对 给 定 的 水 平 1 一 和 由 中 心 极限 定理 
10.1.9 有 


vAn{ 人 RA a wo 
VT N01), 当 nn " 
因此 , 当 # 较 太 时 ,有 
vn) 


v 
其 中 zx 为 NC(0,1) 的 上 a/2 分 位 数 . 而 不 等 式 | 2 


可 表达 为 二 深 不 等 式 a 十 妇 十 c 氨 0, 其 中 a 二 n,8 二 一 (2n 天 十 
zs ) :=n ,有 上 且 A=6 一 4ac>0, 由 此 可 解 得 a 只 十 执 十 -二 0 的 两 


个 根 和 之 访 , 这 样 就 给 出 4 的 一 个 渐 近 置信 水 平 为 1 一 “的 置信 区 
则 8 ,如 ]. 

一 般 , 对 简单 样本 XX，… ,XX,; 用工 ( 引 记 它 的 似 然 函数 , 则 在 
很 一 般 的 条 件 下 有 


og [El eg 0) | Neo.). (12. 3) 
因此 ,假定 不 等 式 a / [el ag) 坊 x3 可 以 表 威 0 的 一 
个 不 等 式 和 0 名 则 [8 ,名 ] 就 给 出 了 一 个 淅 近 水 平 1 一 a 的 斜 


< 


信 区 间 . 如 果 不 行 , 则 在 很 多 场合 下 有 ?2 号/ [| 2 于 | ] 一 
SC Xr0)/h(0), 其 中 为 8 的 单调 滞 数 ,而 (9) 存在 一 个 
相合 估计 大 ,由 有 
CR 的 有- NCO,1). (12. 4) 
此 时 由 & 关于 9 的 单调 性 ,很 容易 将 不 等 式 |g/ 有 |<x3 转 化 为 一 
个 关于 9 的 不 等 式 负 <9< 兵 .这样 也 给 出 一 个 渐 近 水 平 1 a 的 置 
* 184* 


信 区 间 [ 和 , 负 ]. 例如 ,在 例 12.1.16 中 用 Vr (XX 一 py)/ 


忌 夷 (1 一 毒 ) 代 夫 v nC 六 一 p)/ wwZCI 二 的 ,就 可 以 得 到 p 的 一 个 
渐 近 水 平 1 一 a 的 置信 区 间 ， 


-12.2 贝 叶 斯 区 间 估 计 


在 置信 区 间 的 理论 中 ,未 知 参数 8 是 被 看 作为 常数 . 而 根据 由 
叶 斯 学 派 的 观点 ,未 知 参数 8 也 是 随机 变量 ( 见 11. 5). 这 时 区 间 
估计 的 形式 和 含义 与 署 依 区间 的 概念 有 所 不 同 . 

设 当 给 定 样本 元 一 zj 一 z 时 ,如 有 后 验 分 布 函数 
严 (8 4 对 给 定 的 置信 水 平 1 一 zz' 取 mm 十 ai 一 ay 设 页 一 
Ti 下 


PO = rr KR =) = FO ri ) EE os 
下 一 一 一 
则 显然 有 
Pl(O EOEX 一 区 一) 
一 天 (名 | 2 一 FB 1， pr) 2 一 如 (Cl2.5» 
由 于 二 式 对 任何 给 定 的 样本 值 都 成 立 . 因此 ,把 妊 本 看 成 随机 变 
量 , 对 如 和 样本 的 联合 分 布 求 概 率 就 有 
PB 1 a (12. 0》 
这 样 就 给 出 了 贝 叶 斯 意义 下 置信 水 平 为 1 一 a 的 区 间 人 估计. 
中叶 斯 区 间 估 计 的 形式 和 会 尺 与 圭一 节 介 绍 的 麻 蝇 


(Neyman) 的 置信 区 间 的 概念 有 所 不 同 . 贝 时 斯 区 闻 属 计 其 含义 有 
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“ 先 验 ”" 和 * 后 验 ” 两 种 频率 解释 . 所 请 先 验 解释 ,就 是 说 ,在 8 的 先 
验 分 布 国定 不 变 的 条 件 下 , 当 多 次 重复 使 用 同 -个 贝 叶 斯 区 间 估 
计时 ,事件 “9E[5 ,J”( 注 意 , 这 里 9, 人 ,8 都 是 随机 的 )} ,发 生 的 
频率 大 体 为 1 一 a. 所 请 后 验 解 释 , 就 是 说 ,给 定 样 本 值 x,、… ,x 
(这 时 站 和 户 都 是 给 定 的 ) , 当 儿 次 使 用 同一 贝 叶 斯 区 闻 估 计时 ， 
将 样本 下 ,二 x ,… ,六 ,一 zz, 那些 结果 挑 出 来 ,在 这 些 结果 中 ,事件 
“26E [6, ,高 ]” 发 生 的 频率 大 体 也 为 1 一 a. 在 员 时 斯 区 间 估 计 的 两 
种 解释 中 ,8 始终 是 随机 变量 ,而 区 间 则 有 随机 或 确定 两 种 含义 ， 
而 在 这 上 曼 的 性 信和 区 间 的 概念 中 ,8 始终 是 常数 ,而 区 间 则 始终 是 随 
机 区 后. 那么 在 贝 叶 斯 区 间 佑 计 中 是 否 容许 第 三 种 解释 , 即 8 为 常 
数 , 区 间 为 随机 区 闻 呢 ?回答 是 否定 的 . 假定 在 给 定 2 时 ,样本 的 概 
率 分 布 为 Po, 区 间 [ 间 ,各 ] 满 足 (2.5) 和 (12. 6) 两 式 ,容易 举例 说 
明 Pot98€ [ ,六 ]) 关 1 一 是 不 成 立 的 . 因此 , 贝 叶 斯 区 闻 估 计 与 奈 
最 的 置信 区 间 概 念 之 间 没 有 共 辣 点 . 

此 奸 , 贝 叶 斯 区 间 估 计 还 依赖 于 8 的 先 验 分 布 ,当先 验 分 布 不 
同时 ,同一 水 平 的 区 闻 估 计 有 不 同 的 形式 . 

例 12.2.1 设 筷 ,为 抽 自 N(6,1) 的 简单 样本 ,6 的 先 
验 分 布 为 NC(0, 避 ), 求 8 的 水 平 1 一 < 的 只 叶 斯 区 间 估 计 . 

由 例 11. 5.14 知 , 当 给 定 样 本 六 /二 zi,…,XX 二 x 时 ,8 的 后 
验 分 布 为 N| 了 竺 后 ,了 于] ,其 中 二 一 二)x .因此 6 的 一 个 


水 平 1 一 a 的 贝 叶 斯 区 间 估 计 为 


x eR te 
MT 二 MTT 这 


其 中 十 Qi 二 Qszo zn 分别 为 NC0,1) 的 上 ow 和 上 分 位 数 . 六 一 
np a a 到 、 
T+ne’ 当 2 一 4 一 到 时 ,区 间 的 中 心 位 置 比 有 更 偏向 原点 ,这 显 
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然 是 受 先 验 分 布 N(0, 如 ) 的 影响 .另外 区 间 长 度 2z8 /Vota 
比 常用 的 对 称 置信 区 间 的 长 度 { 2z#/ V7 还 小 一 点 儿 1 

问 点 估计 的 情形 一 样 , 贝 叶 斯 区 间 知 计 的 一 个 主要 困难 是 如 
何 确定 一 个 合理 的 先 验 分 布 . 经 验 贝 叶 斯 方法 似乎 可 以 考虑 . 但 由 
于 区 闻 估 计 涉及 到 计算 概率 的 问题 ,用 经 验 贝 叶 斯 方法 得 到 的 区 
间 估计 难免 过 分 粗粮 . 
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13 假设 检验 
13. 1 引言 


假设 检验 (test of hypothesis》 是 统计 推断 中 的 一 个 重要 内 
容 , 它 是 利用 搜集 到 的 数据 对 某 个 事先 作出 的 统计 假设 按照 某 种 
设 证 好 的 方法 进行 检验 ,判断 此 假设 是 否 正 确 . 下 面 通过 一 个 实例 
来 说 明 根 设 检验 问题 中 的 基本 概念 . 

例 13.1.1 设 某 广 生产 的 一 批 产 品 , 其 次 品 率 pp 是 未 知 的 ， 
按 规 定 , 若 p 所 0.01, 册 这 批 产 品 为 可 接受 的 ;否则 为 不 可 接受 的 . 
这 里 “z<0. 01" 恒 是 一 个 需要 检验 的 假设 , 记 为 五 . 假定 从 这 批 数 
量 很 大 的 产品 中 随机 地 抽取 100 件 样 品 , 发 现 其 中 有 三 件 次 品 . 这 
一 抽样 结果 便 成 为 判断 假设 瑟 是 否 成 立 的 依据 , 显然 ,样品 中 次 
总 个 数 印 多 就 对 假设 豆 钝 不 利 ; 反 之 则 对 五 有 利 . 记 样 品 中 次 品 
个 数 为 区 ,问题 是 ;X 大 到 什么 程度 就 应 该 拒绝 总 ?由 于 否定 了 五 
就 等 于 否定 了 一 大 批 产品 ,这 个 问题 应 该 愤 重 处 理 , 统计 学 上 的 常 
用 的 作法 是 : 先 息 定 五 成 立 , 来 计算 义 实 3 的 概率 有 多 大 ,由 于 天 
的 分 布 为 Btnyp) ,其 中 xz 一 100, 容 易 算 得 忆 , -oo( 和 23)=0.08. 
显然 .对 <0.01, 这 概率 值 还 要 小 ,也 就 是 说 , 当 假 设 日 (p 和 所 
0.01) 成 立时 ,100 个 样品 中 有 3 个 或 3 个 以 上 次 品 的 概率 不 超过 
0.08. 这 可 以 看 作 是 一 个 “小 概率 ”事件 . 而 在 一 次 试验 中 就 发 生 了 
一 个 小 概率 事件 是 不 大 可 能 的 . 因此 ,事先 作出 的 假设 “p 志 0. 01” 
是 非常 可 疑 的 . 在 需要 作出 最 终 判 决 时 ,就 应 该 否定 这 个 假设 ,而 
认定 这 批 产 品 不 可 接受 ( 即 认 为 p>0. 01). 

上 述 例 子 中 包含 了 假设 检验 的 一 些 重要 的 基本 概念 . 一 般 , 设 
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号 为 用 以 确定 总 体 分 布 的 一 个 未 知 参 数 , 其 一 切 可 能 值 的 集 台 记 
为 日. 刚 美 于 8 的 任 一 假设 可 用 “EB "来 表示 ;其 中 全 为 日 的 - 
个 真子 集 . 在 统计 假设 检验 中 .首先 要 有 一 个 作为 检验 对 象 的 假 
没 , 常 你 为 原 假 设 或 办 假设 (nall hypothesis). 与 之 相应 ,为 使 问题 
表述 得 更 明确 ,还 常 担 出 一 个 与 之 对 应 的 假设 , 称 为 备 择 假设 
(aiternative hypothesis), 原 假 设 和 对 立 假 设 常 表示 为 
HE OHO EO., 

其 中 全 和 入 为 提 的 摧 个 不 相交 的 真子 集 ,五 , 表示 原 假 催 , 吾 | 志 
示 备 择 假 设 . 

关于 一 维 实 参数 的 假设 常 有 以 下 三 种 形式 (其 中 矶 为 给 
定 值 ) ; 

《11) 单 边 慑 设 ”五 :St 五:9> 襄 ， 

(2) 单 边 假设 五， 五 :0 和. 

(3) 双边 假设 ”五 ,:8 一 访 , 瑟 :0 天 办 

检验 以 设 的 依据 是 样本 . 样本 的 某 些 取 值 可 能 对 原 假 设 并; 
有 利 , 而 另 一 些 取 值 则 对 五 ,不利 ,内 此 可 以 根据 某 种 公认 的 合理 
蕉 则 将 祥 本 空间 分 成 两 部 分 . 一 部 分 称 为 拒绝 域 (critical region)， 
当 样 本 落 入 拒绝 域 时 便 扩 纵 日,; 另 一 部 分 可 称 为 接受 域 
(acceptance region}), 当 样本 昔 入 它 时 不 拒绝 五 , 

构造 拒绝 域 的 常用 方法 是 寻 拒 一 个 统计 量 gt 如 例 13.1.1 中 
的 样品 中 次 品 的 件数 苹 },g 的 太 小 可 以 反映 对 原 假 设 H, 有 利 或 
不 利 . 因此 ,确定 拒绝 域 W 的 问题 可 转化 为 确定 g 的 -个 取 值 域 
C 的 向 题 ， 

定义 13.1,2 对 假设 检验 问题 ,设立 ;,…',X, 为 样本 ,WW 为 
样本 空间 中 的 一 个 子 集 ,对 给 定 的 weE (0,1) :车 WW 满足 

Po 人) 过 sy 后 多， 

网 称 由 W 构成 拒绝 域 的 检验 方法 为 显著 性 水 平 (evidence level)a 
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以 下 简称 显著 性 水 平 为 水 平 .水平 常用 的 取 值 为 0.1， 
0.05,0,01 等 等 . 对 一 个 水 平 a 的 检验 ,假定 原 假设 五 。 成 立 ,而 样 
本 落 入 拒 饮 域 灵 中 ,就 意味 着 一 个 小 概率 事件 发 生 了 . 而 在 一 次 
试验 中 发 生 一 个 小 概率 事件 是 可 疑 的 ,结果 就 导致 了 对 原 假设 HH。 
的 否定 . 在 例 13. 1. 1 中 ,如 果 事 先 给 定 a==0.1; 而 Ps-om (XX 这 3) 
一 0.08, 因 此 当 思 之 0. 01 时 ,这 概率 还 要 小 . 根据 定义 13. 1,2pW 
二 {多 宇 3) 便 给 出 了 假设 恕 ,: Pp 所 ps 的 一 个 水 平 0. 1 的 拒绝 域 . 由 
已 一 3 便 可 拒绝 百 ,. 但 如 果 事 先 给 定 水 平 "一 4. 05, 这 时 ,相应 的 
水 平 a 的 检验 有 拒绝 域 W= {X 闻 4} ,这 时 站 二 3 就 不 能 拒绝 Hi. 
由 此 可 见 ,水 平 a 全 小 , 则 拒绝 原 假 设 愈 困难 . 换言之 ,水 平 = 傅 
小 , 则 当 样 本 落 入 拒绝 域 因而 拒绝 五 , 就 愈加 可 信 ， 

通常 ,作假 设 者 对 原 假 设 态 , 往往 事先 有 一 定 的 信任 度 , 或 者 
-…- 且 否定 了 五 , 就 意味 着 作出 了 一 个 重大 的 决策 , 需 谨 愤 从 事 , 因 
此 把 输 验 的 水 平 a 取得 比较 小 其 中 体现 了 一 种 “保护 原 假 设 ” 的 
思想 . 

方法 13. 1.3 假设 检验 的 一 般 步 又 

《1) 对待 检 验 的 求知 参数 8 根据 问题 的 需要 作出 一 个 单 边 或 
双边 的 假设 . 选择 原 假设 的 原则 是 :事先 有 一 定 信任 上 度 或 者 出 于 某 
种 考虑 是 否 划 加以“ 保护” 

《2) 选 定 一 个 显著 性 水 平 ,最 常用 的 是 a 一 0.05, 放 松 一 点 
可 取 a=0.075 或 0.1, 严 格 一 些 可 取 二 0.025 或 0.01, 

《3) 构造 一 个 统计 量 g,g 的 大 小 反映 对 有 H。 有 利 或 不 利 . 拒 
饮 域 有 形式 W={gEC). 

(4) 根据 定义 13, 1.2 来 确定 W. 


13. 2 正 态 总 体 参 数 的 假设 检验 


13. 2.1 单 正 窗 总 体 优 数 检 验 


设 总 体 分 布 为 N C400 ) ,六 1,…，X, 为 简单 样本 ,a 为 给 定 的 
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显著 性 水 平 . 
方法 13.2.1 方差 7 已 知 时 ,均值 的 单 边 检验 
假设 Hy: 和 poyHi:A 闻 pos - 
其 中 为 已 知 数 . 从 py 的 常用 估计 义 一 二 >) X 出 发 来 构造 检验 
拒绝 域 . 显然 X 龟 大 则 对 五 。 例 不 利 . 因此 拒绝 域 WW 应 有 形式 
1 潜 沁 记 } ,其 中 临界 值 站 应 根据 定义 13. 1.2 由 水 平 “来 决定 .由 于 
当 一 jw 时 ,统计 基 为 


rr 二 nt 2- 一 ~ Ho) 


且 如 为 玉 的 线性 函数 ,用 来 构 和 W 与 下 下 是 等 价 的 . 设 z。 为 
N00,1}) 的 上 a 分 位 数 , 有 
PmtU > se) = a 


显然 , 当 之 jw 时, 上述 概 率 小 于 a. 因此 令 下 = 人 7 全) 一 
天 作为 拒绝 域 便 给 出 了 一 个 水 平 的 检验 . 
对 相反 的 单 过 和 假设 Houtp 社 prov 日 L :1 之 pws 相应 的 水 平 a 的 检 


验 有 拒绝 城 W 一 (0 之 一 2 一 (了 < 一 + -| 
方法 13.2.2 方差 已 知 时 ,均值 的 双边 检验 
假设 Hs: 二 多, 再 :4 天 po， 
这 是 一 个 双边 假设 .如 同 单 边 假设 检验 的 情形 一 样 ,仍然 可 以 从 统 
计量 忌 出 发 来 构造 检验 . 这 次 是 当 |U1 过 大 就 对 原 假设 五 ,不利 ， 
设 z, 为 N(0,1) 的 上 马 分 位 数 ,有 
PalU|>2,) 一 


~ NO.1), 


(> tz 


因此 , 令 
= (UI > z,) 
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则 W 即 为 水 半 a 的 检验 的 拒绝 域 , 
方法 13. 2.3 方差 未 知 时 , 均 和 值 的 单 边 检验 
假设 下 :r 委 生 :五 向 
我 们 仍然 从 下 出 发 米 构 造 检 验 的 拒绝 域 ,但 统计 其 已 不 能 用 ， 
国 为 芝 是 未 知 参 数 5 的 函数 , 如 同 在 区 间 估 计 的 场合 , 存 统 计量 


U 中 用 样本 标准 差 ss D(X 一 来 代 赫 总 体 标准 姜 0 


便 得 到 
= vn (RK pis. 
当 二 如 时 ,了 ~1(n 一 1)( 见 定理 6.4.21). 由 于 5 的 分 布 与 4 无 
美 , 昌 5 与 下 独立 ,仍然 可 以 将 了 作 为 下 的 线性 函数 看 待 . 因此 
当 了 的 值 傅 大 时 对 夭 假 设 万 僵 不 利 . 水 平 a 的 检验 有 拒绝 域 
二 S 

W= {T > — Di= (NR>h+i oD 元 | 
其 中 Gx 一 1) 为 :tn 一 1 的 上 分 位 数 . 

对 相反 方向 的 单 边 假 设 Ho: pe tin HH :py 之 p06; 相应 水 平 的 检 
验 有 拒 绝 域 mw= 人 <-eo-Di= 人 <or-eo-D- 冯 | 

方法 13. 2.4 方差 * 未 知 时 ,均值 的 双边 检验 

假设 五 :4 二 jrHi: pA Am， 


这 时 |} 愈 大 则 对 如 愈 不 利 . 因此 水 平 的 检验 有 拒绝 域 
一 由 | 于 | > tn — 1)} 


RY 
S 


es. tn 1 


| 


/nn 
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其 中 全 (2 一 1) 为 tm 一 1) 的 上 半分 位 数 ， 
方法 13. 2.5 均值 4: 已 知 时 ,方差 的 检验 
假设 Hoa: = HH. ;07 > oi, 
其 中 受 为 已 知 数 .我们 从 避 的 常用 估计 台 一 去 也 CX 一 上 
发 来 构造 检验 的 拒绝 域 . 显然 ; 当 a 鳄 大 对 原 假 设 映 , 就 意 不 利 ， 
因此 担 绝 域 凡 有 {6: 汪 0C} 的 形式 , 当 go 一 oi 肝 ， 
K = ng/o: ~ Yn). 
因此 水 平 & 的 检验 有 拒绝 域 
W = (Kk>R0D) = (>| 
其 中 沦 00) 为 内 (xn) 的 上 a 分 位 数 . 
对 相 颇 方向 的 单 边 很 设 五 有 六 有 万 :于 二 有 ,相应 水 平 的 检 
验 有 拒绝 域 
W = {K < Xn)} = | i Cn | ， 
其 中 媳 (让 汶 六 (0 的 上 1 一 2 分 位 数 . 
对 双边 假设 Hoig’ = ,FH, :天 水 平 三 的 检验 有 拒绝 域 
W= (K <Xt am UU (Kk > Rn)} 


了 2 _ 
一 | a 2) {j {0 > XE G0 fn }, 


其 中 十 wm 一 a 实用 中 常 联 a 十 a 二 2. 
方法 13. 2.§ 均值 上 未 知 时 ,方差 于 的 检验 
假设 Hi 委 四 五 :人 6, 
由于 yg 末 知 ,我 们 从 5 的 常用 售 计 ?= i (六 一 了 其 六 出 发 
来 构造 恰 验 的 拒绝 域 . 当 mr 一 很 时 ,天 一 Ca- 1)S3/o ~ 一 XCn 一 1). 
装 此 ,对 这 种 单 边 假设 ,水 平 a 的 恰 验 有 拒绝 域 
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W = {Kn 1)} = {9 oiXitn ~— Dn Oo 1)}, 

对 相反 的 假设 疡 ,于 之 机 五 os 加 ,相应 水 平 的 检验 有 拒绝 域 

Wo= {KX Om 11} = {9 < oo sn Cm 1)/ nC— 1)), 
对 双边 假设 杏 ,; 路 一品, 好;0? 关 中 , 水 平 a 的 检验 有 拒绝 域 

W= {K<X no DIU {KRK>X 0 — 1)) 
= {SS: < cixi tn — D/Cn — 1)} 
LU 15 > of Cn — 1)7/(n — 1)), 

其 中 必 十 &= 二 1. 
13. 2. 2 双 正 态 总 体 参 数 检验 


设 和 ,和 和 了 YY。 为 分 别 取 自 总 笨 wm oil 和 
mc 的 简单 样本 , 记 呈 一 各 一 上 语 忆 4 一 中, 人 和 的 假设 检验 
比 区 阿 估 计 有 更 广泛 的 诬 甩 . 

方法 13.2.7 方差 of 和 i 均 已 知 时 ,6 的 检验 

对 王 述 三 种 假设 

{1) Ho:dEd,, HH: dH,, 

(2) HosdB6, FH: , 


及 
(3) Ho:8=6, Hz. 
用 于 构造 检验 的 统计 量 均 可 采用 
| 和 
a 3 


当 6 二 高 时 上 一 入 (0,1). 因 此 对 假设 (1)(2) 及 (3), 检 验 拒 绝 域 分 
别 为 
Wi 二 {C7 > al 和 


Ws= (已 所 一 se， 
及 
Ws= {IU 一 zg}, 
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其 中 =. 及 zx 分 别 为 w(0,1) 的 上 = 及 上 池 分 位 数 . 
方法 13. 2.8 qf 二 但 未 知 时 ,8 的 检验 
对 13. 2.7 中 的 去 个 假设 ,用 于 构造 检验 的 统计 量 统 一 可 用 


了 = NR F678,, 


gh [2 -Or 7»? 
. 太 十 欣 一 5 J 


2) 因此 对 13. 2.7 中 的 假设 (1), (2 及 (3) ,检验 拒绝 域 分 别 
为 


, 当 有 一 名 时 ,了 一 上 2 十 


Wi= {Tt 二 m2 


Wo= {TT < tat mm 2)}, 
a 
| 六 二 人 十 加 一 2))， 


其 中 tn 十 一 2) 及 iz Cn 十 加 一 2) 分 别 为 ttn 二 一 2) 的 上 a 及 上 
了 分 位 数 . 
方法 13. 2.9 of 与 均 玉 知 且 不 相同 时 ,5 的 检验 
这 时 检验 统计 量 可 用 (1i2. 1) 中 定义 的 7"《 其 中 8 由 6 代替}， 
当 了 他 一 2 时 ,六 一 2 一直 .因此 对 方法 13.2.7 中 的 三 个 假设 , 检 
验 拒 绝 域 分 别 为 
= {T' 全 (有 一 1))， 
WC— {7 < fn CO 1)}, 
W := {17 | > ts (a 一 1. 
另外 ,检验 统计 量 又 可 用 定理 12. 1. 14 中 的 了"( 同 样 ,其 中 人 用 人 
代入 ), 则 当 68=6 时 ,1"~tCv),v 也 由 该 定理 给 出 . 这 时 方法 
13. 2. 7 中 的 三 个 假设 分 别 有 检 验 拒绝 域 
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Wi = Tt , 
Ws= {fT" < 

及 We 一 1 > ts (1 

方法 13. 2. 10 均值 ,ws 均 已 知 时 ,方差 比 4 的 愉 验 

对 下 述 生 种 假定 

(C1) 万 Ash 五 :AM。 

(2) 本 oA 日 LA 
及 《3) 好 0 一 如 五 | :1 天 如. 

均 用 检验 统计 基 
es — jo) 
二 2 (Yj 一 py 
当 )= 思 时 ,下 一 Fa 因此 对 方法 13. 2. 10 中 的 三 个 假设 , 检 
验 的 拒绝 域 分 别 为 

Wi= {FF > Fltnrm)}, 
Ws= {FF n,m)}, 

及 Wis= {FF < Fa tam)} U {FF > Fo nym)}, 
其 中 十 mm 二 & ,nwm) 等 均 为 Fa 的 上 分 位 数 ， 

方法 13.2.11 均值 pe,p 均 未知 时 ,4 的 检验 

这 时 ,对 方法 13. 2. 10 中 的 假设 (1),(2) 及 (3) ,统一 用 检验 统 
计量 


1 


一 人 


其 中 S% 一 一 一 了) CX 一 外 ,5 一 一 了 CY 一 了 》. 当 4= 
1 1 


如 一 上 
A 时 ,FF~F(n—lm—1). 因此 对 方法 13. 2 i0 中 的 三 个 假设 , 检 
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验 的 拒绝 域 分 别 为 
Wi= {FF om lm— 1)}, 
Ws= {F< Fn om moO— 1)}, 
硫 Wi= {F< Fn lm — 1)} 
UF > Ftn 1m— 1)}, 
其 中 十 a 二 ayF, 等 均 为 户 (n 一 1,m 一 1) 的 上 分 位 数 . 
例 13.2.12 某 工厂 内 有 两 台 机 床 生 产 深 珠 . 为 比较 这 两 台 
机 床 的 性 质 , 从 它们 生产 的 产品 中 分 别 抽出 8 个 和 9 个 , 测 得 滚珠 
的 直径 与 设计 值 的 偏差 列 于 下 下 . 
表 14.1 单位 :pm 


这 里 涉及 到 两 个 假设 检验 问题 . 首先 要 检验 两 台 机 床 各 自 的 
偏差 均值 是 否 为 0? 其 次 要 比较 两 台 机 成 的 加工 精 庆 , 即 比较 居 差 
方差 的 大 小 . 用 xz),…** ,zs 表示 机 床 4 的 样本 ,yy:… ,ys 表示 机 床 
上 B 的 样本 . 可 算得 x 一 0.125,S, 一 3.091,3 二 一 0,1]1,S, 二 1. 616. 
由 于 方差 未 知 ,我 们 用 方法 13. 2.3 给 出 的 :检验 来 检验 均值 . 算 
得 了 :一 0.114,7T, 一 一 0.206. 设 检验 水 平 为 a 二 0.1, 由 于 要 检验 
均值 是 否 为 零 , 这 是 个 双边 检验 问题 . 通过 查 : 分布 表 ( 附 表 3), 有 
inos(7) 二 1, 8946, 而 zoo5(8) 二 1,8595. 显然 有 | 六 .|<zowt?7 | 全 | 
之 to.as: 因此 可 以 推定 这 二 台 机 床 的 偏差 均值 都 为 零 . 下 一 个 检验 
基 方 差 比 , 由 于 5, 之 S, ;我 们 自然 可 假定 8 机 床 的 方差 比 4 机 床 
小 . 因此 相当 于 检验 假设 13. 2. 1052) ,其 中 入 = 二 1. 相应 的 检验 统 
计 基 为 二 S32/S: 二 3.659, 通 过 查 上 分布 表 ( 附 表 4), 有 下 ,1(7,8) 
二 2.62. 显然 这 六 ,C7,8), 因 渴 可 以 断定 4 机 床 的 方差 比 B5 机 
床 的 太 ,也 就 是 说 ,B 机 床 的 吉 工 精度 比 4 机 康 的 高 . 
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13. 3 ”两 种 错误 概率 及 检验 的 评 优 准则 


13. 3. 1 两 种 错误 概率 


对 假设 检验 问题 13. 1. 1, 设 芋 个 检验 的 拒绝 域 为 W. 当 检验 
者 根据 样本 值 落 在 多 内 与 否 而 拒绝 或 保留 原 假设 时 ,可 能 会 犯 两 
种 错误 ， 

定义 13.3.1 (1) 当 原 假设 Ho:9E @o 成 立 , 而 样本 值 却 落 
在 拒绝 域 W 内 {因而 要 拒绝 五 ,) 时 , 称 为 犯 第 一 类 错误 (error of 
the first kind). 犯 第 一 类 错误 的 概率 为 Po(W ) ,0E Go 

(2) 当 备 择 假 设 盯 1:9E 全 成 立 ,而 样本 值 却 落 在 W 外 (因而 
要 保 贸 五 ,时 , 称 为 犯 第 二 类 错误 (error of the second kind)》. 犯 
第 二 类 错误 的 概率 为 PC ,80€@， 

第 一 类 错误 又 称 为 弃 真 错误 ;第 二 类 错误 叉 称 为 存 伪 错 误 . 设 
两 个 检验 分 别 有 拒 绝 域 WW 和 WW', 久 CW' ,显然 前 一 检验 犯 第 一 
类 错误 的 概率 比 后 一 检验 小 ,而 犯 第 二 类 错误 的 概率 大 , 而 一 个 水 
平 a 的 检验 满足 条 件 : 犯 第 一 类 错误 的 概率 不 超过 “ 由 于 通常 水 
平 a 取得 比较 小 ,这 就 体现 了 “保护 原 假设 "或 者 说 “限制 犯 第 一 类 
错误 概率 ”的 原则 . 

定义 13.3.2 对 一 个 具有 拒绝 域 W 的 检验 ,其 功效 函数 
(power function) 为 

RO) = Po) E 8, 

5 的 又 简称 为 功效 ， 

当 9E B,( 备 择 假设 ) 时 ,1 一 8(0) 即 为 犯 第 二 类 错误 的 概率 ， 
因此 当 8EBi 时 ,要 求 8(0) 息 大 盖 好 ， 


13. 3. 2 一 至 最 优 检验 


定义 13. 3.3 对 给 定 的 E00,1), 设 7z 为 一 个 水 平 的 检 
+， 198 。 


验 , 若 对 任 一 水 平 = 的 检验 ”有 
BOP,Y EUB， 
其 中 BC 各 2.( 四 分别 为 r 和 7 的 功效 函数 , 则 称 7 为 一 臻 最 优 


检验 Cuniformly most powerfw!l test )， 

一 臻 最 优 检验 简称 为 UMP 检验 . 以 下 用 六 二 { 芝 ,,…,%,) 和 
Zz 二 (x sx ) 分 别 记 样 本 和 样本 值 ,用 (XX , 妨 记 似 然 函 数 . 

引 理 13. 3.4 奈 曙 -皮尔 了 还 CNeymann-Pearson) 引 [ 理 对 下 述 
的 简单 假设 

五 0 一 各 ,已 :9 一 由， 
对 给 定 的 weE (0,1) ,一 定 存在 水 平 的 UMP 检验 r*, 它 的 拒绝 域 
有 形式 
W = {x Tr OL CC,}, 


其 中 忆 , 为 由 a 决定 的 常数 . 

注 引 理 13. 3.4 是 针对 原 假设 和 备 择 假设 都 只 有 一 个 点 时 
得 到 的 结论 . 当 样本 分 布 连续 时 , 一定 可 找到 一 个 C., 使 得 
Po (W) 一 a. 而 当 样 本 分 布 为 离散 型 时 ,就 作 不 到 这 点 . 这 时 Cs 应 
取得 使 Plug 小 于 但 尽 可 能 车 近 <“. 

由 引 理 13. 3. 4 可 以 推出 一 个 重要 的 结论 , 即 对 相当 广泛 的 一 
类 分 布 旋 , 单 边 假 设 检 验 问 题 的 UMP 检验 是 存在 的 . 

定理 13.3.5 设 8 为 一 维 未 知 参 数 ,L《X, 四 为 似 然 函数 , 满 
是 ;对 任意 给 定 的 久之 名 ,比值 

LER/LOK 0) 一 BCI) 0 .0,). 
其 中 作为 样本 区 的 函数 只 与 T(X7 有关, 且 关 于 了 (单调 非 
降 , 则 对 单 边 假设 
Ho, HO0>h, 
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及 给 定 的 as 和 (0,1) ,水 平 的 UMP 检验 存在 , 旦 其 拒绝 域 有 形式 
W = {z: 当 T(x) > Cl}. 

例 13.3.6 设 总 体 分 布 为 Nan 中) ,其 中 A 未 知 ,oi 已 知 ， 
其 ; + 为 简单 样本 . 于 是 对 Ac , 似 然 比 


所 | 二 2 | ， 
因此 似 然 比 为 耻 工 > X 的 单调 函数 , 由 定理 13. 3. 5 知 , 对 音 
边 假设 


Lry te) /Lr, HK) = exp| 


Horp SE por Hii 向 
水 平 a 的 UMP 检验 有 拒绝 域 
W= {XX>C.). 


| 
根据 13. 2.2 知 C, 二 pw 十 z。 - 寺 |. 


13.3.3 无 偏 检验 


双边 检验 问题 一 般 不 存在 UMP 检验 . 为 此 ,类 似 在 点 估计 问 
题 中 引进 无 偏 估 计 的 概念 ,我 们 引入 无 偏 检验 的 概念 ， 

定妆 13. 3.7 设 对 假设 He :0E ,HH :ED ,rT 为 一 检验 ,其 
功效 为 09). 车 对 任意 EB。 及 外 EB 有 BC8,) 气 BC), 则 称 
为 一 个 无 偏 检 验 (unbiased test). 

由 于 当 8€ 信 时 (00) 为 犯 第 一 类 错误 的 概率 ,而 当 名 EE 8 
时 ,1 一 (四 为 犯 第 二 类 错误 的 概率 ,定义 13. 3. 8 无 异 是 要 求 一 个 
检验 满足 犯 弃 真 错误 的 概率 总 不 超过 存 伪 的 概率 . 

容易 验证 方法 13. 2.2 和 13.2.4 中 给 出 的 检验 均 为 无 偏 检 
验 . 在 定义 13. 3. 3 中 , 若 将 涉及 的 检验 都 限定 为 无 偏 检验 , 便 可 得 
到 一 致 最 优 无 偏 检验 的 概念 . 关于 这 方面 的 深入 讨论 请 参考 文献 
{131. 
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13.4 似 然 比 检 验 与 渐 近 水 平 检验 


奈 曼 和 皮尔 避 根 据 似 然 原 理 和 由 他 们 给 出 的 引 理 13. 3.4 给 
出 了 一 种 构造 检验 的 一 般 方法 . 
定义 13.4.1 设 8 为 一 个 下 维 未 知 参 数 , 工 (和 ,9 为 似 然 函 
数 , 对 假设 互 , :8E Bi, 志 :0E 台 ,规定 做 然 比 (iiketihood ratio ) 为 
也 民 (r) 一 sb CT0) /sup LO), 


具有 拒绝 域 WW= {z:ZRCzrycely 的 检验 称 为 似 然 比 检验 . 

在 似 然 比 中 ,分 子 部 分 代表 给 定 祥 本 时 8 的 “全 局 似 然 性 ”, 而 
分 母 部 分 代表 关于 原 息 设 的 “局 部 似 然 性 ". 因此 似 然 比 检验 中 会 
意 为 : 当 关 于 藉 假 设 的 局 部 似 然 性 相当 小 时 (与 全 局 似 然 性 相 比 )， 
就 要 拒绝 五 似 然 比 检 验 中 的 一 个 关键 辣 题 是 要 计算 似 然 比 了 8 
的 分 布 . 在 双边 假设 检验 问题 中 ,即使 是 在 有 多 余 参 数 的 场合 , 关 
于 似 然 比 工 R 有 一 个 渐 近 分 布 . 

设 二 维 未 知 参 数 6= (外 .六 ) ,其 中 及 为 a 维 (Q< 放 ) ,89, 为 上 一 
a 维 . 考虑 假设 

五 :8 一 日 万 :8 天 四 《13. 1) 

其 中 Bi 为 给 定 a 维 常 向 一. 注意 此 假设 与 和 无 关 . 则 对 许多 常见 
的 分 布 族 有 下 述 结论 :对 简单 样本 成 , 买 。，…, 芒 ,， 


d 
lim2Zlog(LR) —— (Ek — dd). (13.2) 


Men 


定理 13. 4.2 设 总 体 分 布 族 的 频率 函数 有 以 下 形式 ，: 
fr = Cexp (DT (rg (0 hx), 


其 中 eyf 信 wr ,gi( 扑 ) 为 与 8 一 -- 对 应 的 变 撞 ,人 出 (13.2) 的 结论 
在 计算 僻 然 比 LR 时 , 它 的 分 子 和 分 母 有 时 不 能 直接 求 得 ,这 
，201 。 


时 可 以 用 似 然 方程 的 解 代 入 ,而 渐 近 分 布 仍然 成 立 . 利用 式 (13. 2) 
的 结论 ,可 以 给 出 假设 式 (13. 1) 的 渐 近 水 平 为 的 似 然 比 检验 具 
有 拒绝 域 
Wo= {zi2logZLRKz) > KRC d)}. (13. 3) 
除了 利用 似 然 比 的 渐 似 分 布 之 外 ,还 可 利用 中 心 极限 定理 给 
出 新 近 水 平 检验 ,这 样 敌 的 优点 是 对 单 边 假设 检验 也 能 行 得 通 . 
例 13.4.3 设 久 ,…,X, 为 简单 样本 ,P(X,==1)==p, P(X 
二 0) 二 1 一 ,其 中 纪 为 未 知 参数 . 则 由 中 心 极 限定 理 , 当 记 二 pp。 
时 ， 
VC 一 各) 
pall po) 
其 中 各 一 二 > X. 因此 ,对 单 边 假设 
Hp porH:p i po 
可 给 出 一 个 渐 近 水 平 a 的 检验 ,其 拒绝 域 为 W = 
| Vn (ZX 一 加 0)、 


一 一 六 ?oy 其 中 ,为 NC(0,1) 的 上 a 分 位 数 ， 
poll— po) } 


13.5 拟 合 优 度 检验 


在 前 用 节 中 介绍 的 假设 检验 问题 统称 为 参数 检验 问题 , 即 事 
先 认为 样本 分 布 具 有 某 种 指定 的 形式 ,而 其 中 有 一 些 未 知 的 参数 ， 
检验 的 目标 是 关于 某 个 参数 落 在 特定 范围 内 的 假设 . 本 节 要 介绍 
的 是 另 一 类 假设 检验 ,其 目标 不 是 针对 具体 的 参数 ,而 是 针对 分 布 
的 类 型 . 例如 ,通常 总 假定 总 体 分 布 具 有 正 态 性 , 则 “总 体 分 布 为 正 
态 * 这 一 断言 本 身 在 一 定 场 全 下 就 是 可 疑 的 ,有 待 于 检验 . 又 如 ,有 
两 个 随机 变量 和 与 了 .有 时 要 在 不 假定 X 与 了 具有 某 种 分 布 类 型 
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过 
一 0 1 当下 一 ceo， 


时 检验 它们 之 间 的 独立 性 . 一 般 的 ,可 将 这 类 假 没 表述 如 下 : 设 
{Fa} 为 一 个 分 布 族 , 则 提出 假设 

如 :总 体 革 的 分 布 FE {Fo0 EE 加 《13. 4) 
等 待 内 验 . 在 这 和 假设 中 只 关心 下 是 省 油 半 {1F4,8E 旭 } 的 问题 ,而 不 
计较 究竟 取 何 值 . 检验 假设 如 的 基本 方法 是 用 祥 本 XX,,… ,XX 
去 拟 合 {Fs,8 所 全} 中 的 一 个 分 布 ,根据 拟 合 的 好 坏 来 决定 对 矿 的 
取 合 . 
皮尔 还 5K Pearson) 早 在 1900 年 就 提出 了 -一 个 用 于 检验 假设 
《13. 4) 的 统计 量 , 这 就 是 著名 的 关 统计 量 . 为 说 明 妨 统计 量 的 构 
造 与 应 用 , 完 假定 分 布 族 {Fr.8€B8} 中 只 有 一 个 分 布 包 ; 这 时 
《13.4) 转 化 为 


HF = Fh. ‘13.5) 
总 体 分 布 不 一 定 是 一 维 的 . 这 时 ,可 将 总 体 取 值 的 范围 分 成 mm 
个 两 两 不 相交 的 了 了 集 5,,S;,… ,5。. 当 总 体 为 一 维 时 ,S,,… ,5。 即 
为 z 个 互 不 相交 的 区 间 , 记 
pb; = Pr (KX € SN = 1 
对 简单 样本 X,,… ,史记 
2 一 XL 在 5 内 的 个 数 . 语 二 1 ,2m， 
a 表示 样本 落 在 5 内 的 频率 关于 S; 的 概率 的 偏差. 皮 


定义 13. 5. 1 
ee 
来 刻画 样本 六 ,…, 革 , 拟 合 分 布 的 优 度 , 玉 ; 称 为 皮尔 他 交 统 
计量 . 
定理 13.$.2 当 假 设 (13.5) 成 立时 ,皮尔 针尖 统计 其 KK, 当 
2 一 oo 时 有 概 限 分 布 好 (一 1)， 
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显然 , 当 天。 较 小 时 表示 样本 对 FF, 拟 合 得 好 , 当 天, 较 大 时 表 
示 这 种 拟 合 不 太 好 . 因此 对 给 定 水 平 ae 构造 一 个 检验 : 当 天 .> 
涛 Cm 一 1) 时 就 否定 瓦 , 和 否则 就 接受 瑟 . 这 就 是 一 个 浙 近 水 平 & 的 
检验 . ， 
下 面 考虑 {Fi,6EB) ,其 中 2 为 下 维 参 数 , 旦 为 玉 中 的 一 个 非 
空 区 域 . 这 时 在 定义 13.5.1 中 ,KK, 的 表达 式 里 的 p 与 8 有关， 
因为 
pO — PEKXESY i=1 mEQ. (13.6) 
这 时 可 用 样本 构造 9 的 一 个 估计 久 , 在 广 ( 全 中 用 闵 代替 六 再 代 
入 下, 中 ,得 


3 ' 各 站 
及 ,一 >| 一 户 (8 | jc 


一 Ca — p(B YN? /np CD,). (13. 7} 
1 


用 及, 来 作 扫 合 优 度 Cgoodness of fit). 皮尔 逊 建 议 用 色 为 下 述 方 
程 组 的 解 ; 


ne Ap) 
2 5 90 0 f= lk (13. 8) 


,apd ge 
定理 13. 5.3 设 263 关于 9 连续 ,i 一 1,… msj 一 1,…,， 


上 县 所 为 方程 组 (13.8) 的 相合 解 (名 为 8 的 相合 估计 ), 则 当 区 守 
站 十 1 时 有 


KR, fm 一 C1), 当 n— oo, 
注 ”总体 肥 值 域 的 划分 5S,,…,S。 有 一 定 任意 性 , 它 与 m 的 
大 水 及 5S,,… ,5 的 形状 有 关 . 在 实际 应 用 时 ,m 的 大 小 应 与 样本 
2 相 联 系 , 当 n 较 大 时 相应 的 mx 可 较 大 ;反之 ,n 小 时 m 应 小 . 另 
外 ,有 时 计算 (13.8) 的 解 比较 麻烦 ,为 了 简便 可 计算 8 的 关于 分 布 
族 {Fs,9E GB} 的 极 大 似 然 估计 来 代入 天 这 时 定理 13. 5.3 的 结 
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论 可 能 不 成 立 ,但 相差 不 大 . 

用 皮尔 逊 x* 统计 量 可 检验 样本 是 省 取 自 正 态 总 体 Ngo ) 
《这 里 A 和 只 可 以 是 任意 的 ?或 是 否 取 自 皮尔 逊 总 体 PCU)( 这 里 
也 可 以 是 任意 的 ,等 等 , 除 此 之 外 还 有 一些 重要 的 应 用 . 

例 13.5.4 独立 性 检验 ” 设 两 个 随机 变量 XX,7 了 均 为 离散 型 
的 , 久 取 值 于 {zu… xr},Y 取 值 于 人 yy) 设 ( 四) 
(X.Y,) 为 简单 样本 , 记 妈 为 (X17) 中 等 于 如 xi,y)) 
的 个 数 ,要 据 此 检验 假设 互 : 世 与 了 独立 . 

在 这 种 问题 中 , 常 把 数据 列 为 表 13.1 的 形式 , 称 为 列 联 表 


Ccontingency table): 


表 13. 1 列 联 表 


在 此 表 中 ,最 右 一 列 ww， 一 > ;为 第 i 行 之 和 ,i 二 1,…,1; 最 下 
一 行 如 .ji 一 Dns ;为 第 j 列 之 和 + 一 


关上 


这 
记 ps=P(X=I Y=y), pi. = PtX= xX) = Dpisp.i 一 
j=1 


PC 一 2) 一 之 向 : 则 假设 如 可 表 为 
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H.;p;i = pi Pr pof 一 1 一 1 《13, 9) 
将 CX， 了) 的 每 一 组 可 能 取 值 作为 一 个 Sivi 一 1，* … pt; 则 OO 
Iy. 而 在 假设 H 中 有 I 十 7 一 2 个 自由 参数 ( 因 有 两 个 约束 条件 ; 


Dp. = 1， Dp 用 pp ‘Pie 民 pi ,pp. 7 1 作为 未 


知 参数 代入 方程 组 13, 8 中 可 解 得 
pr. 一 zi. /ns 一 1 
pis = Hn j= ly 
将 这 组 解 代入 天。 中 有 
R=nY Sn, 一 ni MR) RN 


fr] 一 | 


=- 


=1 j=1 


由 定理 13. 5. 3 知 处 . 有 极限 分 布 Xm 一 & 一 1),m 一 JJ sR 二 十 4 
一 32, 因此 加 一 8 一 1 一 1J 一 1 一 J 十 1 二 (1 一 1)(J 一 1). 因 此 对 给 定 
水 平 外 当 下, 谤 忆 (C 一 1) (J 一 1)) 时 就 否定 吾 , 即 断定 习 与 Y 是 
相关 的 , 当 很 大 时 ,这 检验 的 真实 水 平 接近 a. 

除了 皮尔 偿 的 好 检验 之 外 ,还 有 用 其 它 方法 作 的 拟 合 优 度 检 
验 ， 科 尔 莫 世 轴 夫 (Konuoropon) 对 简单 假设 (13. 5) 给 出 一 个 检验 
方法 : 设 Xl sr 为 简单 样本 , 记 爱民 wy 为 由 样本 生成 的 


顺序 统计 量 . 记 di 二 [FocXo)| + 坊 一 | 往 1-F) ;上 二 
sn 定 尺 


有 汪 max {ded 一 下 
定理 13. 5.5 当 假 设 13. 5. 2 成 立时 


limP(Y nD, <N)= > (一 lyexp(— 2kX),Y A 0. 


利用 此 定理 可 得 到 假设 (13. 5) 的 一 个 近似 检验 , 记 定 理 中 等 式 右 
边 为 QC), 对 任 给 aE (0,1) 找 入 使 得 1 一 QC%) 二 a: 则 当 va DD, 
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六 时 否定 瑟 , 这 检验 称 为 科 尔 莫 龙 岁 夫 检验 , 它 比 皮尔 避 的 并 
检验 灵敏 (所 需 样 本 容量 小 ) ,但 缺点 是 不 能 用 于 复杂 假设 (13. 4) 
的 情形 . 

五 , 的 常用 的 理论 表达 形式 为 

D, = Sup [F(x) CO— Fr)|, 

其 中 FF,(z) 为 由 样本 生成 的 经 验 分 布 冰 数 . 

例 13.5.6 为 考察 吸烟 与 慢性 气管 下 的 关系 ,调查 了 340 名 
45 网 至 50 网 之 间 的 人 ,得 下 述 列 联 表 13. 2. 


表 13.2 单位 ;人 


其 中 芭 二 0 表示 不 吸烟 ,区 =1 表示 吸烟 ;了 一 0 表示 来 患 慢性 气管 
炎 ,z 一 1 表示 下 提 性 气管 炎 . 如 果 假 设 吸 烟 与 患 慢性 气管 炎 无 关 ， 
相当 于 假设 变量 多 与 了 独立 . 这 是 一 个 独立 性 检验 问题 . 用 皮尔 
进 忆 统计 量 
K, = 了 .616， 

通过 查 表 ,到 , 介 于 总 (1) (= 二 6.635) 与 发 ws(1)( 二 7. 879) 之 间 ， 
由 于 0.01 是 相当 小 的 概率 , 因此 ,由 帮 , 放 妨 m(1) 可 推翻 原 假 设 ， 
因此 断定 吸烟 与 慢性 气管 炎 有 关 , 由 表 13.2 可 以 看 出 ,在 不 吸烟 
者 中 , 串 入 性 气管 炎 的 比例 为 13/135 二 9.6%, 而 在 吸烟 者 中 上 患 查 
性 气管 党 的 占 43/205 = 二 21.0%, 这 说 明 吸烟 可 导致 患 慢 性 气管 炎 
的 机 会 增 大 ， 
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14 ” 非 参 数 统计 
14.1 引言 


在 第 11 至 第 13 章 中 ,讨论 统计 推断 问题 时 ,总 假设 样本 来 自 
具有 已 知 分 布 形式 的 总 体 ,其 中 有 阁 干 未 知 参数 . 用 这 样 的 统计 模 
型 来 讨论 问题 都 属于 参数 统计 (parametric statistics ) 的 范畴 . 但 
在 实际 中 也 常会 遇 到 下 列 两 种 不 同 的 情况 . 

首先 ,在 许多 实用 的 领域 内 处 理 数据 时 把 常 无 法 事先 断定 样 
本 分 布 具有 茶 种 具体 的 数学 形式 ,其 原因 可 能 是 对 所 研究 的 领域 
启 乏 经 验 ,或 者 没有 一 种 客观 的 背景 去 推测 样本 分 布 应 具有 的 形 
式 . 也 就 是 说 不 能 建立 一 个 由 有 限 个 参数 确定 的 统计 模型 . 当然 ， 
为 了 数学 推论 的 需要 .对 统计 模型 总 要 作 一 些 必 要 而 合理 的 假定 ， 
例如 假定 总 体 分 布 有 密度 画 数 , 套 本 为 独立 同 分 布 的 ,等 等 在 这 
种 很 一 般 的 前 提 干 提出 来 的 统计 推 斯 问题 都 属于 非 参 数 统计 
(nonparametric statistics) 的 范畴 .在 非 参 数 统 计 中 提问 题 的 方式 
往往 与 参数 统计 不 同 . 例如 假定 我 们 手 闪 有 蔷 自 两 个 总 体 的 一 批 
样本 . 通过 对 样本 进行 和 粗略 的 观察 ;怀疑 这 两 个 总 体 的 分 布 不 同 . 
在 参数 统计 中 可 以 假定 两 个 总 体 都 是 正 态 的 . 这 时 比较 两 个 总 体 
的 异同 的 问题 就 可 以 转化 为 比较 各 自 的 均值 和 方差 的 问题 , 而 在 
非 驳 数 统计 中 就 只 能 直接 比较 两 个 总 体 的 分 布 函 数 是 否 相 同 . 另 
外 ,在 相同 的 统计 问题 中 ,参数 统计 与 非 参 数 统计 所 使 用 的 方法 也 
不 同 , 因为 在 参数 统计 中 使 用 的 方法 都 与 特定 的 分 布 形式 有 紧密 
联系 , 当 分 布 形式 发 生变 化 时 ,原来 效果 很 好 的 统计 方法 就 会 变 
坏 , 例如 ,用 样本 均值 工 去 估计 正 态 分 布 的 对 称 中 心 时 效果 很 好 ， 

”8 


此 时 素 是 最 小 方差 无 偏 佑 计 * 但 用 六 去 估计 柯 西 4Cauchy》 分 布 
的 对 称 中 心 时 则 效果 很 差 . 因为 它 的 均值 根本 不 存在 , 且 均 方 误差 
为 无穷 大 . 而 在 非 参 数 统计 中 建议 使 用 样本 中 位 数 普 去 估计 总 体 
务 布 的 对 称 中 心 , 适 用 手相 当 大 一 类 总 体 分 布 ( 包 括 正 态 积 柯 西 这 
样 性 质 差别 很 大 的 分 布 ). 

其 次 ,在 搜集 数据 的 过 程 中 ,常常 由 于 某 些 客观 原因 而 使 得 数 
据 受 到 “污染 ”, 因 而 造成 统计 模型 与 实际 情况 发 生 偏离 . 例如 ,在 
正 态 样本 中 混杂 了 一 些 非 正 态 的 样本 点 或 者 由 于 观测 过 程 的 失误 
而 产生 了 一 些 离 群 值 Coutlier ), 当然 ,对 上 述 情 况 的 发 生 与 否 , 试 
验 者 不 能 完全 断定 ,而 仅仅 是 一 种 怀疑 . 解决 这 类 问题 的 方法 有 两 
条 途 和 名 可 循 . 一 是 用 参数 统计 的 方法 对 数据 进行 “诊断 ” 
diagnostic) ,以 判断 某 些 可 疑 的 数据 是 “好 ”的 ,还 是 " 坏 "的 . 一 是 
寻找 一 些 新 的 统计 方法 或 准则 ,使 得 当 模 型 假定 正确 时 ,得 上 出 的 结 
论 有 接近 最 优 的 性 质 ;而 当 模型 发 生 偏 差 时 ,得 出 的 结论 仍 具 有 较 
好 的 性 质 ,或 至 少 不 能 坏 得 无 法 接受 . 这 类 的 统计 方法 或 准则 的 研 
究 属 于 稳健 统计 人 (robust statistics 又 译作 * 鲁 棒 统 计 ”) 的 范 畸 . 

非 参数 统计 与 稳健 统计 之 侣 有 紧密 的 联系 ,一 些 常 用 的 非 参 
数 统计 方法 由 于 适 用 于 相当 大 一 类 的 分 布 模型 ,因而 具有 很 好 的 
稳健 性 , 本 章 前 几 节 介 绍 常用 的 非 参 数 统计 方法 ,最 后 一 节 介 绍 稳 
健 统计 的 基本 概念 . 


14.2 顺序 统计 量 及 其 应 用 


定义 14.2.] 设 藉 ，…,XX, 为 取 自 具 连 续 分 布下 的 总 体 的 
箱 单 样本 ,将 Kl Ks 重 排 为 和 (有 即 和 ce 为 
1,-… ,中 第 六 小 的 上 一 1 8), 当 芒 / 二 joi 7 时 ,将 六; 排 在 
xX, 前 , 则 站 0 称 为 由 样本 六 1 生成 的 顺序 统 
计量 (order statistics )， 
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定理 14. 2.2 设 总 体 分 布 函 数 为 PCr), 有 密度 .六 xy， 和， 
… ,天 为 由 简单 样本 生成 的 顺序 统计 量 , 财 
(1) (Xo 下 2 有 联合 密度 
pr sr) nl FOr fT) oT 
(2》 对 Sa 及 TSm<ra<ce<resSa (XXX 有 密 
度 


由 
Priwr, (TI Ck si 一 n1 TIL fr) 


imwm] 


I [Fn) 一 下 (zi 
i=1 rir CO— O11 “ 


i: 其 中 Xo 和 一 00 :Xt 和 十 co :e071 和 十 1, 
(3) 对 r<en ,Xo 的 密度 为 


Fr — FOr fr). 


nl 
pir) tr DIm ri 


推论 14. 2. 3 在 定理 14. 2.2 的 记号 下 有 
(1) XX 的 密度 为 
pz) = nLl 一 下) fxr), 
C2) Xm 的 密度 为 
pty) = nF (yy), 
(3) (的 联合 密度 为 
p(x) 一 nn — DF(G) — FOOTY SAITOY), zy. 
推论 14. 2.4 设 F(z) 为 连续 总 体 分 布 函数 ,Ko , 帮 由 为 
顺序 统计 量 , 记 
Y=F(Xn)， 
Y=F(X0)— F(X vi 2 
Yr=1— F(X ), 
则 (YD 了 0 一 也 4 C191) 一 一 狭 利克 雷 分 布 ( 见 菠 6. 6, 3). 
顺序 统计 量 在 非 参数 估计 中 有 重要 应 用 ， 
定义 14. 2.5 ” 设 XXXom 为 顺序 统计 量 , 经 验 分 布 函数 
(empirical distribution function) 为 
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0， 浸入 


KR IK 1 
1， 当 Xn < Tr 
对 给 定 样 本 (因而 给 定 了 顺序 统计 量 ) ,经验 分 布 水 数 F(z) 
对 于 变量 xz 是 一 个 分 布 函 数 . 男 一 方面 ,对 固定 的 zx, lx) 作为 样 
本 的 范 数 是 一 个 统计 量 ， 

定理 14. 2.6 格 利 文科 {Taweenko) 定 理 设 {X,,n 庄 1) 为 独 
立 同 王 分 布 随机 变 其 列 ,PCz) 为 由 已 ,生成 的 经 验 分 布 函 
数 ,n 二 1,2,…, 则 

Pllim[ sup |F.(x) — F(z)|]= 0})= 1. 

此 定理 说 明 , 用 经 验 分 布 阔 数 F.(x) 直 接 去 估计 总 体 分 布 函 
数 F(x), 在 整个 实 轴 上 有 一 致 强 相合 性 . 出 经验 分 布 立 数 出 发 可 
派生 出 一 系列 有 用 的 非 参 数 估 计 . 

一 般 , 设 待 佑 参数 为 总 体 分 布 函 数 下 的 某 一 数字 特征 , 记 为 
了 在 数学 上 ,了 (相当 于 定 浆 在 分 布 函 数 空 间 了 上 的 一 个 泛 
消 , 由 于 F, 蚌 FF 的 一 至 强 相合 估计 ,自然 可 以 考虑 用 F, 的 相应 
的 数字 特征 工 (FE,) 去 估计 芽 (). 作为 一 个 重要 的 例子 , 矩 估计 便 
属于 这 类 估计 . 根据 窍 估 计 竟 定义 容易 看 出 ,样本 矩 即 为 经 验 分 布 
的 矩 . 国 此 和 气 估 计 方 法 的 实质 就 是 用 经 验 分 布 的 给 去 估计 总 体 分 
布 相 应 的 矩 . 从 这 个 意义 上 讲 , 矩 估计 方法 是 一 种 非 参 数 佑 计 方 
法 .但 窍 估 计 一 般 寺 具备 常见 的 非 参数 统计 方法 的 稳健 性 ,而 且 从 
传统 上 ,给 估计 常用 于 参数 估计 的 场合 . 

分 位 数 估 计 是 一 种 重要 的 基于 经 验 分 布 函 数 的 非 参 数 估计 
方法 . 

定义 14.2.7 设 X0，…:Xow 为 顺序 统计 量 , 对 给 定 的 户 E 
(0,1) ,用 [npj 记 np 的 整数 部 分 . 

样本 的 下 分 位 数 为 


P(X) = 


* 211: 


1 
S, CF,) 一 FLX 十 X11 


特别 当 p 二 方 时 , 记 每 (F,) 二 m(F,), 称 为 样本 中 位 数 . 

类 似 地 也 可 以 定义 样本 的 上 上 p 分 位 数 . 为 簿 便 计 ,简称 下 pp 
分 位 数 为 了 分 位 数 . 

定理 14. 2.8 设 对 取 自 具有 连续 分 布下 的 总 体 的 简单 样本 
四 记 (RF,) 为 样本 的 5 分 位 数 .#4 为 总 体 的 记分 位 
数 ,p€E C0,1), 则 

Pimé,(F,) 一 名 CPP)) = 1. 

此 定理 说 明 样本 分 位 数 为 总 体 分 位 数 的 强 相合 估计 . 

定理 14.2.9 设 总 体 分 布 F 有 连续 密度 f(r), 给 定 0 之 pj 过 
p11: 用 总 记 总 体 的 pp; 分 位 数 , 合 记 样 本 的 p; 分 位 数 ,i 二 1， 
-9 记 < 一 《上 a" 1 ,一 《大 9 1， 则 

lim v 人 一 外 一 N,(0, 5), 

其 中 ,B= (oD weoos=0 二 pi(1— pp) /LA FE)], 

推论 14. 2. 10 在 定理 14.2.39 的 假定 下 , 记 吉 CF) 和 (CF,) 
分 别 为 总 体 和 样本 的 记分 位 数 , 则 

lim VE 有 — EP) NOW pl — PY/F' (Ss(F))). 
特别 , 当 sm 为 总 体 的 中 位 数 ,而 mm, 为 样本 中 位 数 时 ,有 
lim Vn Cm, — mn) -= N (0,L4F Cn)!). 

上 述 定 理 和 推论 说 明了 样本 分 位 数 为 总 体 分 位 数 的 渐 近 正 态 
估计 ， 

样本 分 位 数 在 估计 总 体 分 布 的 容忍 区 间 和 容 悉 限 方面 也 有 重 
区 应 用 . 
定义 14.2.11 设 焉 为首 体 分 布 ,而 委 负 为 两 个 统计 量 , 若 对 
两 小 正 数 8,7 有 
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(C1) POF) ~ FO) El1— N11-B, 

则 和 浆 [ ;总 ] 为 天 的 :个 08) 客 妨 区间 和 olerance interval)， 

(2) 若 统 计 直 及 满足 

PRD 宇 1 一 1— Bp. 
则 称 8 为 FF 的 上 (8B,7Y) 容 忍 限 (toterance limit). 
(3) 若 统 计量 站 满足 
PF E11— ph, 
则 称 交 为 到 的 下 (8B.z) 容 丽 限 . 

容忍 区 间 和 容 驴 限 的 估计 有 重要 应 用 ,例如 在 研究 无 线 电 元 
性 的 寿命 时 ,人 们 希望 知道 35 纪 的 元 件 的 寿命 在 一 个 什么 样 的 区 
各 内 . 根据 样本 可 以 构造 一 个 区 间 [6 ,如 J] 实际 上 人 们 不 能 期 望 
让) 一 F( 名 ) 之 95% 总 成 立 , 而 只 能 希望 将 名 和 扣 取 得 足 甬 好 ， 
使 得 PCF C8) 一 FC() 主 0.95) 是 够 天, 用 样本 分 位 数 就 可 以 作 到 
这 点 . 

设 下 为 连续 总 体 分 布 ,Xi，….X。 为 简单 样本 , 根据 定理 
6.5. 3 知 ,RCXDD ,R(X ) 为 独 半 00,1) 分 布 的 随机 变量 ,因此 
(XD) (X65) 为 U00,1) 随 机 变量 生成 的 顺序 统计 量 , 其 分 
布 与 下 无关. F(X) 有 密度 函数 


好 ， 


AD 一 人 二 TO 
这 是 参数 为 (十 1 的 有 分 布 的 密度 . 昔 吕 足 侣 大 ,可 取 下 尽 
可 能 大 ,使 得 


1 


POFCXW) 字 1 一 站 宇 1 一， 
则 关 w 为 一 个 工 (8, 站 容 肪 限 . 又 可 取 7 尽 可 能 小 使 得 
PF(XW) E71 8B, 
则 六 ww 为 一 个 下 08, 站 容忍 限 ,这 种 计算 需要 查 8 分布 表 或 编制 专 
门 的 计算 程序 . 
男 外 对 ?< 有,(FCXw) CE 有 联合 密度 
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nl 
(Ef— DR oo 1 ln ok)l 
KX AY TT 一 3 0<zrc<y<c 1 
据 此 可 通过 计算 以 定 出 1%, 使 得 
PFIXD) CO— FAX) 1 一 21 一 A 
于 是 (区 ; 汪 避 ) 即 为 一 个 (8,7Y) 容 忍 区 间 . 


44. 3 极 值 统 计 


在 顺序 统计 量 中 , 极 大 值 统计 量 占有 特殊 的 地 位 . 在 生命 统计 
和 其 些 灾难 性 自然 现象 的 研究 中 (例如 研究 洪水 的 规律 ), 极 大 值 
统计 量 的 分 布 及 其 特征 是 一 个 重要 的 课题 . 本 节 介 绍 有 关 的 重要 
概念 及 关于 极限 分 布 的 一 系列 结果 . 由 于 通过 改变 符号 ,很 容易 将 
极 小 值 的 问题 转化 为 极 大 值 的 问题 来 研究 ,本 节 只 讨论 极 大 值 的 
问题 ,并 简称 汐 极 值 Cextreme ). 

定义 14.3.1 设 F(z) 为 一 连续 分 布 函数 ,f(zx) 为 它 的 密度 
函数 ,相应 的 强度 国 数 (intensity function) 为 


fxr) 
AD) Ti FC) 


强度 函数 的 意义 为 ; 设 F(z) 为 人 的 寿命 分 布 ; 则 mr(Cz)dz 相 
当 于 已 知 一 个 人 活 了 x 年 而 在 x 天 x 十 dx 时 刻 内 将 要 死去 的 概 
率 . 因此 ,强度 函数 (x) 又 称 为 危险 函数 (hazard function), 而 在 
可 靠 性 统计 中 称 为 失效 率 (faiiure rate}. p(xz) 为 生命 统计 中 的 一 
个 重要 概念 . 当 jtx) 上 和 天 时 ,说 明 随 着 时 光 的 流逝 ,人 的 死亡 的 概 
率 增加 ; 当 Atz) 下 降 时 ,说 明 随 着 时 光 流 逝 , 人 的 死 它 概率 下 降 . 
许多 类 型 的 寿命 (包括 人 或 机 器 等 ), 具 有 如 下 特点 :在 寿命 的 初期 
阶段 ,wtz) 是 下 降 的 ,而 在 寿命 的 晚期 ,x(r) 上 升 . 


fr _ Fr) 1 
由 ACE) = px) ey 十 (xz)]， (14. 1) 


Flriy) 一 


“2Z14。 


可 得 如 下 的 结论 ; 
人 0， 当 pz) > f(r), 
| 0, 当 ptr) = f/f) {14.2) 
\< 0， 当 Pr) ~ Frm). 
定 尺 14. 3.2 临界 商 (critical quotient) 为 
AX) __ 一 . 产 (z) 
— Ferry FOL FO) 
临界 商 名 4z) 是 反映 寿命 分 布 的 重要 特征 . 当 Q(z) 记 1 时 , 随 
着 生命 的 延续 ,继续 存活 的 概率 下 降 ; 当 Q(x} 二 1 时 , 随 着 生命 的 
延续 ,继续 存活 的 概率 上 天. 
定义 14.3.3 设 = 为 正 整 数 , 下 (z) 为 连续 分 布 函数 , 相 诬 的 
特征 极 值 (characteristic extretmmya 满足 
ntl — Fu)) = 1., 
特征 极 入 wx, 的 含义 如 下 :; 设 下 为 某 一 寿命 分 布 函 数 , 则 1 一 
F(z) 为 某 一 个 体 寿命 超过 工 的 概率 ,而 ntl 一 F(X)) 为 n 个 个 体 
中 寿命 超过 x 的 平均 个 数 . mw 为 这 样 一 个 临界 值 : 它 使 得 平均 每 
个 个 体 中 寿命 超过 zu 的 个 数 为 1. 
定义 14.3.4 设 忆 ,为 分 布 函 数 下 (zx) 的 特征 极 值 ,x(x) 为 强 
度 函 数 ， 


QIz) 径 


oo A (zt) 一 A Cus) y = nf un), 


1 一 下 (zy 
称 a, 为 极 值 强度 (extrem strength )， 
例 14.3.5 设 F(Cr) 一 1 一 e 六 ,rT>0,A>0 为 参数 . 则 | 下 (x) 为 
指数 分 布 ,易于 计算 : 
nx) 空山 Qtcz) = 1. 
] 


Wa = logn, 2 一 四 


特征 极 值 x, 和 极 值 强度 在 讨论 极 值 分 布 中 是 两 个 重要 的 
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数 . 
定义 14-3.6 设 下 (tx) 为 右 无 界 的 分 布 是 数 , 基 F(x) 二 1， 
Y xz 其 密度 为 f(r). 若 (x) 满足 
lim Qlr) 一 1， 

则 利 : tx) 为 指数 型 分 布 (distribution of exponential type). 

常见 的 连续 分 布 如 指数 分 布 , 正 态 分 布下 (Gamma)}) 分 布 , 对 
数 正 态 分 布 及 韦 布尔 CWeibull} 分 布 等 ,都 是 指数 型 分 布 . 

定理 14. 3.7 设 下 (x) 为 指数 型 分 布 ,wx. 和 a 分别 为 特征 极 
值 和 极 信 强度 . 设 基 ，…,X, 为 取 自 五 总 体 的 独立 同 分 布 样本 ， 
Xu 为 最 大 值 统计 是 ( 邵 甘 一 max( 瑟 ,已 )， 则 av 一 zt 
有 极限 分 布 函数 

Gy) = EXP 一 一 oo < 二 po， 

除 定理 14. 3, 7 中 给 出 的 分 布 之 外 , 任 一 分 布 严 的 最 大 值 的 
极限 分 布 还 有 两 种 牙 能 性 . 

定理 14. 3.8 谍 闵 为 独立 同 分 布 样本 已 ，… ,XX, 的 最 大 值 
统计 量 , 若 存在 常数 d, 及 正常 数 c, 使 得 c, 革 6 十 d， 依 分 布 收 伍 于 
分 布 函数 C(z), 则 CCz) 必 与 以 下 三 个 分 布 函数 之 一 同型 
I G(r)—=exp(—e 一 ooc 


1 Galz)=exp| 一 评 | 。 z>0v>0 为 参数 ， 

下 Gexp {—(—x)}, 工艺 0 上 守 0 为 参数 . 

Cr 和 Gar) 分 别称 为 第 I ,I ,型 极 值 分 布 . 

极 太 和 值 统计 量 的 极 值 分 布 类 型 是 由 总 体 分 布 F(z) 的 性 质 来 
决定 的 . 

定义 14.3.9 设 F(r) 为 总 体 分 布 ,XX ，…;X, 为 独立 同 分 布 
样本 , 若 极 大 值 统 计量 ,的 极限 分 布 属 于 i 型 极 值 分 布 (i 王 1， 
1 , 开 ), 则 称 Fx) 属于 i 型 分 布 的 吸引 场 (domain of attraction). 

下 面 分 别 给 出 总 体 分 布 属于 1 ,IE ,1 型 极 值 分 布 吸引 场 的 充 

* 2]6* 


分 必要 茶 件 . 
定理 14.3. 10 连续 分 布 嘿 数 Fiz) 属 于 工 型 极 值 分 布 鹃 引 
场 的 充分 必要 条 件 为 


lim al 1 一 Flu, 十 | = a- 
i lprll i 
其 中 六 (us) 一 1 7 Flt | 一 ] 一 之 ， 


进而 若 (x) 有 连续 帘 度 f(x), 则 有 
， 如 
lim nF) 上 


定理 14. 3.11 连续 分 布 Rtz) 属 于 工 型 极 什 分布 的 吸引 场 
的 充分 必要 条 件 为 

(1) 六 (Czr<1 一切 zi 

(2) 存在 &>0, 使 对 任意 c>0 有 


lim Fr) = 
ml CO— Flr) 
定理 14. 3. 12 连续 分 布 F(x} 属于 于 型 极 值 分 布 的 吸引 场 


的 充分 必要 条 件 为 

(1) 存在 有 限 的 a ,使 得 ka) 一 1; 

(2) 存在 有 >0, 使 对 任何 < 有 

lm 1 FF 

在 实际 问题 中 ,通常 假定 总 体 分 布 是 属于 某 个 极 值 分 布 的 吸 
引 场 . 这 种 假定 是 基于 如 下 考虑 : 晶 说 由 问题 的 非 参 数 性 质 , 我 们 
不 能 断言 总 体 分 布 有 何 种 形式 ,但 仍 可 以 假定 总 体 是 (比如 说 ) 属 
于 指数 形 的 . 因此 假定 极 值 分 布 具 第 1 型 .对 独立 同 分 布 样本 忆 ,， 
…, 浪 , :我们 可 将 其 分 成 m 组 ,每 组 的 个 数 家 等 旦 足 况 多 . 用 YY,， 
“分别 记 这 mm 组 中 每 组 的 最 太 值 . 因此 ,YY 可 以 近似 


地 看 成 是 从 分 布 函数 
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CD) 一 exp{l—e 0}),— Ny (14.3) 
中 抽出 的 独立 同 分 布 样本 ,其 中 和 z 为 待 估 的 参数 . 
根据 上 述 理由 ,我 们 可 利用 极 大 似 然 估计 的 方法 由 了 了, ,… ,7- 
去 估计 e 和 &， 
下 葡 介 绍 一 个 简单 的 方法 . 
方法 14. 3.13 利用 样本 分 位 数 估 计 参 数 
由 


Gu) = exp(— ee} =e ! =0,3879=p. 
及 


Glu tw|=expt el} = 0.6922 = p,. 


可 用 了 ，…,Y。 的 样本 pi 分 位 数 6 去 估计 xz ,而 用 ps 分 位 数 ， 
去 箔 计 # 十 17a. 并 由 此 解 得 

并 
和 6， 和 Ep 


此 方法 简便 易 行 ,但 精度 不 如 极 大 似 然 估计 . 


14. 4 秩 检验 


在 非 参 数 估 计 问 题 中 ,顺序 统计 量 及 其 函数 有 着 重 蓝 的 作用 . 
但 在 非 参 数 假设 检验 问题 中 ,由 于 涉及 到 计算 概率 的 问题 ,而 顺序 
统计 其 的 分 布 是 与 总 钵 分 布 有 关 的 ,因此 直接 由 顺序 统计 其 去 构 
造 检验 函数 的 效果 不 太 好 . 本 节 介 绍 一 类 在 非 参 数 检 验 问 题 中 有 
广泛 应 用 的 统计 量 一 一 秩 统计 量 (rank statistics), 秩 统 计量 的 一 
个 重要 特性 是 分 布 无 关 性 (distribution-freeness). 

定义 14.4.1 设 成 ，…: 瑟 ,为 一 组 样本 (不 必 是 取 自 同一 总 
体 的 .将 吏 ，… ,及 , 从 小 到 大 排 成 一 列 , 用 Ri 记 X; 在 上 述 排列 中 
的 位 置 序 导 ,i 二 1.0. 称 RR ;Rr,R, 为 由 样本 禄 ,rry 玉 , 产 
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生 的 秩 统 计量 (rang statisrics ). 
例 14.4.2 例如 有 下 列 一 组 样本 ， 
x 之 3 Xa A Ts; 
1l.2 0.8 一 3.1 2.0 1.2 
则 由 此 样本 产生 的 秩 统计 量 鸭 ;Ri 一 3, Rs, 二 2, Ri 一 1,R, 一 5， 
只 ,一 4， 
注 章 在 上 述 例 中 ,ri=x* 这 时 我 们 按照 自然 顺序 将 x 排 在 
显然 , 若 样 本 XX),… ,XX, 是 取 自 连续 分 布 总 体 的 独立 同 分 布 
样本 , 则 秩 统 计量 Ri,…, RR, 的 分 布 是 对 称 等 概 的 . 即 对 1,-, 的 
任 一 排列 s**tzs 有 | 
POR 一 R= i R= 二 《14. 4) 
这 时 :Rs FR, 的 分 布 与 总 体 分 布 无关 ， 
14.4.1 斯 皮尔 黑 秩 相关 检验 


设 (iY 了 D0 CX) 为 取 自 某 个 二 元 总 体 的 独立 样本 ,要 
检验 及 变 量 与 Y 变节 是 否 相 关 . 以 “区 与 了 相互 独立 {不 相关 )” 
为 原 假 设 , 对 立 假设 可 能 有 不 同 的 选择 , 例如 假设 “和 与 了 正 相 
关 ?或 "有 与 了 负 相 闫 ”或 更 -一 般 地 ,假设 *X 与 了 相关 ”, 在 正 态 
总 体 假 定 下 ,最 自然 的 构造 窗 验 的 办 法 是 用 样本 相关 系数 


1 2 _ 志 二 
Pi, = 六 2 人 束 )(7 一 了 ) 


1 局， 二 ,sa 1 元 
/ed mm 

1 二 二 n a 
=- [#2 — xz] /iS -对 一 了 


《14. 5) 
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而 在 非 参数 的 相关 性 检验 中 ,斯 皮尔 蛇 (Spearman) 首 先 提出 
了 秩 相关 系数 (rank correlation coefficient) 的 概念 , 设 (r rr ) 
为 由 六 ,,… ,有 X, 产生 的 秩 统计 量 ,R,,e RR, 为 由 也, 产生 的 
秩 统计 量 


DR Ry (4.6) 
1 ] 
定义 14.4.3 斯 皮 尔 曼 秩 相关 系数 (Spearman rank 


correlation coefficient) 为 
“= /a 

当 久 与 相互 独立 上 时, 《rs… yr) 与 (Ris,R,) 是 相互 独立 
的 ,此 时 E(x,) 二 0. 当 瑟 与 子 正 相关 时 ,- 倾向 于 取 正 值 ; 和 而 当天 
与 Y 负 相 关 时 ,~ 倾向 于 取 负 值 .这 就 担 示 了 我 们 利用 z 来 构造 
检验 的 方法 . 问题 是 计算 ~ 的 分 布 . 

定理 14.4.4 当 % 较 天 时 , Yn 一 1r, 的 近似 分 布 为 N (0， 
标准 正 态 分 布 . 

国 此 ,对 假设 检验 问题 

Ho: 六 与 了 不 相关 er: 和 与 了 正 相 关 . (14.7) 

基于 斯 皮尔 曼 秩 相关 系数 的 检验 方法 为 , 选 上 ,使 得 

Dn {re SS as 《14.8) 

其 中 “为 指定 的 检验 水 平 ,Pr, 是 表示 在 原 假 设 瑟 , 真 的 条 件 下 求 
概率 , 则 


1》 


当 产 > 有 时 否定 原 假设 ; 

当 x. 时 肯定 原 假 设 . (14.9) 

往 上 述 检 验方 法 中 ,的 确定 可 利用 定理 14. 3.5, 即 取 训 满足 
Pl(vn— 1k)=1—a, (14. 10) 
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其 中 鱼 为 标准 正 态 分 布 萌 数 ,下 的 值 可 通过 查 正 态 分 布 蚁 数 胡来 
求 得 ， 

类 似 可 榴 造 负 和 相关 检验 其 一 般 的 相关 性 假 设 的 妈 边 核验 . 

斯 皮尔 曼 秩 相 关系 数 的 曙 一 表达 形式 为 


-一 6 s 四 
"1 DR 六 7 (14. 11) 
当头 变量 与 了 变 莉 相互 独立 时 .其 均值 和 方差 分 别 为 
、 人 
Elri = vr) 一 人 1 | ， 


14. 4. 2 随机 性 检验 


设 蕊 为 一 组 接 顺 序 抽 得 的 样本 .这 顺序 可 能 是 时 间 
或 空间 上 的 顺序 或 根据 革 种 设计 好 的 抽样 方法 所 规定 的 顺序 . 所 
谓 贿 机 性 (randomness), 是 指 样本 值 的 大 少 与 抽样 的 顺序 无 关 ， 
面 与 此 对 立 的 假设 是 认为 样本 取 值 大 小 随 抽 取 的 顺序 而 表现 出 一 
定 的 倾向 性 . 譬如 说 ,样本 值 随 抽 样 顺 订 而 逐渐 有 增 大 的 趋势 . 用 
数学 方法 来 表示 , 设 F(x) 为 样本 X, 的 分 布 函 数 ， 一 上: 则 上 上 
述 两 种 对 立 的 假设 可 表示 为 : 

再 下 TD) 一 一 (4 
对 和 任意 的 .r， 《14. 12) 

为 构造 假设 粒 验 问题 式 (14. 12) 的 检验 , 芍 虑 样本 天 |.… ,XX， 
所 产生 的 秩 统计 量 Ri RR, 当 六 而 荐 全 妨 , 时 称 为 有 一 个 省 
序 . 记 


全 RR,… ;上 R, 中 所 有 道 序 的 个 数 . 《14, 13) 

例如 设 (RR 有) 一 (3,2;5,1， 1 , 则 其 中 有 6 个 道 序 ;3 一 2， 

3 一 1,2 一 1,5 一 4.5 一 ] ,4 一 1. 显然 ,和 最 小 值 取 零 (此 时 (CR,…， 

RD) 二 (7 最 大 值 了 去 zCa 一 1)( 此 时 (RAR 一 Go、 
1 )》， 
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定义 


入 402 
(会 1 一 5 车. (14. 14) 


显 然 一 1 所 1 之 1, 晶 当 式 (14,12) 中 Hs 成 立时 ,t 关于 原点 有 
对 称 分 布 ;而 当 吾 成 立时 的 分 布 偏向 于 1. 关于 上 的 近似 分 布 
有 以 下 结论 . 

定理 14.4.5 设 症 :和 为 独立 同 分 布 样本 , 则 当 = 较 大 


时 ,22 二 和 3 的 分 布 近 似 二 标准 正 态 分布 NC0,1) 
i 站 《一 


对 n 宇 5, 上 述 近 似 分 布 有 较 好 的 精确 度 , 而 对 "<ss4 可 直接 计 
算 的 分 布 . 
例 14.4.6 计算 n=4 时 :的 分 布 . 


_1 
P(Q=0)=PC=1) 一 站 ， 


PCQ=1D=P|! 一 也 | 一 训 = 襄 ， 
P(Q=2)= 了 |!= 训 | -六 ， 
P(Q=-3) 一 Pd 一 0) 一 六 = 于 ， 
P(Q=4) Pl 一 村 | 昌 ， 
P(Q=5) P|: 号 | 总 一 二， 
P(Q=6)=P(= 一 1D)= 亢 . 


对 假设 检验 问题 式 (14. 12) ,基于 统计 量 上 的 水 平 < 的 检验 可 
构造 如 下 ; 取 二 满足 
Pu (lt > to) = et 
其 中 ,Ps 表示 在 原 假设 互 。 成 立 的 条 件 下 求 概率 ,此 概率 值 可 根 
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据 定 理 14. 4.5 所 提供 的 近似 分 布 计算 , 则 相应 的 检验 为 ; 
当 > 夫 , 则 和 理 定 态 ,, 肖 定 五 | 
当 所 h; 则 否定 如 1 ,肯定 Hi 


14.4.3 两 样本 齐 次 性 检验 


考虑 在 两 台 同 类 仪器 上 做 同一 种 试验 ,分 别 得 到 两 组 数据 , 现 
在 怀疑 其 中 一 台 仪 兽 有 偏差 ,因此 测 得 的 数据 比 另 一 台 仪 器 上 上 测 
得 的 数据 有 偏 大 的 信 向 . 用 数学 的 语言 表达 如 下 : 设 有 两 组 样本 ， 
和 GCzr) 分 别 表示 下 和 YY 的 分 布 
函数 . 考虑 下 述 的 假设 检验 问题 : 
五 :FFCz 一 人 2 一 切 了 五 :Fr 一切 w (14. 15) 
式 (14.15) 是 个 齐 次 性 Chomogeneity}) 假 设 检 验 问 题 . 利用 
秩 统 计 基 构造 检验 的 力 法 如 下 :将 样本 Ki YY 合 
并 成 个 大 的 样本 ,用 Ri… ,Rs 记 Y,,…,Y。 在 整个 合并 样本 当 
中 的 秩 . R; 的 取 值 范围 为 1 到 wm 中 二 1 当 五 , 成 立时 ， 
下, 入 1， ,Ym 可 看 成 是 从 同 -一 总 体 中 抽取 的 容量 为 有 十 
加 的 独立 样本 ,这 时 民 ,,…,R。 应 该 比较 均匀 地 分 布 在 1 到 x 十 
之 间 ; 而 当 吾 ; 成 立时 ,Y 样本 的 取 值 比较 偏 大 ,因此 Rj,…,R。 的 


分 布 偏 右上 述 区 间 的 右 端 . 根据 上 述 思 想 , 威 尔 柯 克 森 (Wilcoxon ) 
提出 了 如 下 的 统计 量 . 
定义 14. 4.7 
1 人 >R 


称 为 感 尔 柯 克 森 秩 和 统计 量 (Wiicoxon rank sum statistics ). 
当 H, 成 立即 尺 | .0 sR Ci Yo 独立 同 分 布 时 ,有 


EC) 一 到 mm 人 十 mi 十 11)， 


Var (TH) = 吉 mn(n 十 融和 十 1)， 
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定理 14. 4.8 当 (14.15) 中 Hs 成 立时 , 设 # 十 moo n/m 
;0<A< ceo , 则 


| 一 mn 一 7 十 AE 二 sm 十 1》 

的 浙 近 分 布 为 标准 正 态 分 布 NC0,1)., | 

假设 检验 问题 (14. 15) 的 基于 ww 的 检验 可 枸 造 如 下 : 取 w. 使 
得 

Pan, Cw be wn ) , 

其 中 a 为 给 定 的 检验 水 平 , 上 述 概 率 可 利用 定理 14. 4.8 近似 求 
出 ,于 是 

当 Zn 时 ,否定 Ht: 肯定 H's 

当 TU EL 时 ,肯定 如 , ;否定 Hi. 


14. 5 核 方法 与 近邻 方法 


本 节 介 绍 两 种 在 估计 总 体 的 局 部 特征 方面 很 有 用 的 非 参 数 方 
法 及 其 在 非 参 数 密度 估计 、 非 参数 回归 和 非 参 数 判 别 中 的 应 用 ， 


14. 5. 1 密度 估计 


设 样本 XX,,…, 叉 , 是 从 具有 末 知 密度 f(x} 的 一 维 总 体 中 抽 
出 的 简单 样本 ,要 依据 这 些 样 本 去 估计 fx). 

最 古老 而 又 简便 的 密度 估计 方法 就 是 直方 图 Chisrogram) ,其 
方法 可 描述 如 下 . 

方法 14. 5.1 直方 图 密度 估计 将 整个 实 轴 分 成 mm 个 小 区 癌 
[Lara 一 1,.…1m( 通 常 在 [aisem;1j 内 包含 了 全 部 或 绝 大 部 分 
样本 点 ), 设 在 这 间 Lai,ai-1) 内 有 ri 个 样本 (总 |，…， 克 。 中 有 HH; 个 
落 在 区 间 [La, ,ws :内 小 根据 频率 逼近 概率 的 思想 ,可 用 n/a 去 估 
计 总 栖 分 布 在 区 间 [ea _ 上 的 概率 ,而 在 区 间 fa ve 7? 上 的 概 
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率 密度 估计 可 用 
he) 一 2 当 村 全 [ea )， (C14,.16) 


去 佰 计 , 其 中 入 =aii; 一 &, 为 区 间 长 度 . 

直方 图 密度 估计 具有 直观 吻 懂 的 特点 ,是 对 总 体 分 布 进 行 初 
步 分 析 的 一 种 简便 有 效 的 工具 . 在 作 直 方 图 时 ,区 间 划 分 的 方式 需 
要 根据 实际 情形 和 经 验 来 决定 . 一 般 , 这 mm 个 区 间 应 包含 全 部 或 
绝 大 部 分 (比如 说 99%) 的 样本 . 另外 mm 的 大 小 应 根据 样本 容量 x 
的 大 小 而 定 . mz 过 小 ,出 每 个 区 间 较 大 ,因此 造成 在 区 间 中 心 部 分 
估计 效果 较 好 ,而 在 区 间 端 点 部 分 估计 效果 较 差 sm 过 大 , 则 落 符 
每 个 区 间 内 样本 点 较 少 ,使 得 估计 秽 差 较 大 . 作为 供 读 者 参考 的 -- 
种 明确 说 法 ,建议 取 m= vn 的 整数 部 分 ,图 14.1 给 出 了 直方 图 
的 一 个 示意 图 . : 

为 殉 服 直方 图 在 区 间 中 心 部 分 估 
计 效 果 较 好 ,而 在 区 间 端 点 附近 效果 
较 差 的 缺点 . 一 种 改进 的 方法 是 :对 每 


个 z 以 为 中 心 作 区 间 [Lz 一 疡 : 垃 十 、 
记 ] ,其 中 天 为 事先 选 定 的 区 间 半 长 度 . 图 14.1 硼 方 同 
用 记 样 本 玉 ,,… ,XX, 落 入 此 区 间 的 。 ( 实 线 的 并 州 蛤 形 为 直方 
个 数 , 用 图 ,虚线 为 假定 的 总 体 密 
= nn 度 曲线 )， 
f(r) 二 9hA (ld.17) 


去 估计 密度 ftx). 由 于 对 每 一 个 z 值 ,都 是 以 它 为 中 心 去 构造 区 
间 , 显 然 这 种 密度 估计 的 效果 优 于 直方 图 估计 , 莫 具 有 较 好 的 连续 
性 . C14.17) 所 给 出 的 舍 计 可 用 另 一 种 形式 表示 , 滩 
i 
KGz) 一 42 


iD ， 其 它 ， 


《14. 187 
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则 天 (Cx) 为 [一 1,1] 区 间 上 芍 句 分 布 的 密度 酒 数 ,而 (14.17) 式 可 
改写 为 
Fn = LYKI (14. 19) 
CD 一 需 并 | > |. 1! 


在 上 上 式 中 ,将 下 (x) 换 成 任意 一 个 密度 函数 就 得 到 密度 的 核 
估计 . 

定义 14.5.2 设 开 (zr) 为 一 概率 密度 函数 ,# 盖 0 为 给 定常 
数 ,f(x) 为 总 体 密 度 , 则 形 如 (14.19) 式 的 有 (zx) 称 为 ACx) 的 一 个 
核 估 计 (kernal estimate) ,其 中 函数 尺 (x) 称 为 校 (kernal) ,常数 严 
称 为 窗帘 (window-width). 

校 密度 估计 的 实质 是 对 样本 点 施 以 不 同 的 权 , 用 加 权 来 代替 
通常 的 计数 . 在 实际 应 用 中 , 核 函 数 天 常用 在 原点 有 单 峰 的 对 称 
密度 函数 . 除了 (4.18) 式 中 给 出 的 均匀 核 奸 ,还 可 考虑 用 


loos zx， 当 |z| 所 了 了， 

天 【人 ) = (14. 20) 
10， 当 |z| > 可. 
\ 


1 2 
K{7) 一 一 一 ee ~ Cr 人 +oo. (4.21) 
w 2 


窗 宽衣 的 选择 与 有关 , 太 大 或 太 小 都 不 好 ,但 没有 什么 明确 
的 优选 准则 . 理论 上 说 , 当 wn 一 2 时 ,和 要求 hr0, 但 nk 习 oc. 对 固定 
的 n,h 的 选择 可 根据 具体 情况 和 经 验 试 几 个 值 ,从 中 选 一 个 较为 
满意 的 . 作为 一 个 建议 ,可 先 试 上 一 17 vn. 

核 密 度 估计 可 推广 到 多 维 总 体 的 情形 . 

定义 14.5.3 设 鲜 ,…,X; 为 取 自 4 维 连 续 总 体 的 简单 样 
本 ,K(x) 为 4 维 密度 函数 ,>>0 为 常数 , 则 总 体 密度 AFCx) 的 一 个 
核 估计 可 表 为 


fCr) = 去 DK| z 二 | 
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在 定义 (4.17) 中 ,区 间 [x 一 ,x 十 A] 的 半 长 度 有 为 事先 给 定 
的 ,而 落 入 此 区 间 中 的 样本 数 a, 是 随机 的 . 按 相反 的 思路 ,可 考虑 
癌 定 落 入 区 间 中 的 样本 数 ,而 令 区 间 半 长 度 为 随机 的 ,这 样 就 得 到 
密度 的 近邻 估计 . 

定义 14.5.4 设 义 ,… ,XX, 为 取 自 一 维 连续 总 体 的 简单 样 
本 ,对 指定 的 实数 上 及 正 整 数 于 , 设 及 x 为 距 x 第 个 最 近 的 样本 


不 
fx) = 2n|z — Riel 


由 称 产 cz) 为 总 体 密 度 Xx) 的 近邻 密度 估计 (nearest neighbors 
density estimate), 

近邻 密度 估计 与 (14.17) 给 出 的 均匀 核 密度 倘 计 相 比 ,前 者 在 
各 处 估计 的 精度 有 较 好 的 一 歼 性 ,如 在 各 处 的 犀 计 精 嵌 相差 不 多 ，; 
而 后 者 在 样本 密集 的 地 方 估计 精度 高 ,在 样本 稀 朴 的 地 方 则 估计 
精度 差 . 

在 近邻 密度 估计 中 ,入 选 的 近邻 样本 点 个 数 天 的 选择 是 一 个 
关键 . 理论 上 要 求 当 ace 时 ,Eco 而 大 /mn-=0. 在 实用 上 ,作为 一 
个 供 参 考 的 建议 ,可 考虑 取 有 一 Yn 的 整数 部 分 

近邻 估计 和 当 核 铬 计 相 结合 ,可 得 到 一 种 推广 形式 为 

1| ， (14.22) 


Ix 


1 (7) 一 有 二 二 元 二 Wi 
其 中 天 为 核 ,Xn 为 zx 的 第 上 个 近邻 样本 点 ， 

关于 核 密度 估计 和 近邻 密度 估计 的 太 样 本 性 质 , 有 以 下 一 些 
基本 结论 . 

定理 14.5.5 对 总 体 密度 f(x) 的 核 佑 计 (x) (定义 
14. 5.2); 记 秘 宽 为 h,( 因 与 a 有关}), 若 

(1) 核 函数 天 在 (一 so, 十 c=) 上 有 界 ， 

(2) rr) 在 (一 co ,十 ce) 上 有 界 ， 
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《37 limh,=0, 

则 在 的 连续 点 x 有 
limEk FT) = fr). 

在 七 述 结论 中 .ECA(x)) 是 将 C(x) 看 成 是 样本 XX,，,…,X, 的 
函数 ,因而 作为 随机 变量 求 戎 望 的 . 

定理 14. 5.6 在 定理 14. 5.5 的 记 导 及 条 件 下 , 若 进一步 有 
lim (rh) =0°, 则 对 的 连续 点 x 

lim EL lr — fz = 0, 


因而 有 
天 (全 > Fo， oo 
定理 14.5.7 对 总 体 密 度 7(z) 的 近邻 估计 廊 Czr)( 定 义 
14. 5. 4), 记 入 选 近邻 个 数 为 名 5 因 与 = 有 关 ), 则 当 
《1》 lim 天 一 co， 
《2) lim Ck, /1)=0 
时 ,有 


fr) fe), no0, 
14. 5. 2 非 参 数 回 归 


设 和 站 分别 是 4d 维和 一 维 随 机 变量 . 若 巨 |Y1 拓 2 出 
my) 二 CY| 祷 =x) 存 在 , 称 鸭 了 对 芝 的 回归 函数 . 回归 分 析 的 基 
本 问题 ,就 是 用 (有 X,Y) 的 简单 样本 (X,Y 了) (Xe Yo 去 估计 回 
归 陨 数 rxtx)， 

在 线性 回归 模型 中 ,假定 六 (z? 是 > 的 线性 函数 ,用 最 小 二 乘 
法 对 回归 系数 进行 估计 ( 见 第 15 章 ). 但 是 ,经 验 和 理论 都 证 明 , 当 
ztz) 不 是 二 的 线性 函数 时 ,基于 最 小 二 乘 的 回归 效果 不 好 . 非 参 
数 回归 就 是 在 对 mCx) 的 形式 不 作 任 何 假 定 的 前 提 下 研究 估计 
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ia 的 方法 ， 
由 样本 均值 估计 总 体 均值 的 思想 出 发 ,假设 样本 (X, ,7，)， 
…,《X。sY,) 中 有 相当 多 的 X, 恰好 等 于 指定 的 x, 记 为 XXX， 
,XX 这 时 自然 可 取 相 应 的 Y 样本 Y, ,….Y, ,用 它们 的 算术 平 


均 计 了 DY, 去 信 计 mc). 可 是 在 实际 问题 中 一 般 不 会 有 很 多 X 


的 样本 值 怡 好 等 于 指定 的 xt 甚至 一 个 也 没有 ). 但 由 此 可 启发 我 
们 在 思路 上 产生 一 个 飞 葡 ,好 用 了 ,,…,Y, 的 一 个 加 权 和 和 


mw) = > WY, (14. 23) 
?= : 


去 舍 计 mx) ,其 中 WW 守 0,7 二 lon， DW 二 1. {Wi) 称 为 -组 
i=1 


“ 权 ”(Cweighr). 在 选择 权 {W;} 时 要 考 不 到 ; 当 XX 二 x 或 Xi; 与 + 非 
常 接近 时 ,相应 的 权 Wi; 应 较 大 ;反之 则 邢 ; 应 较 小 甚至 为 0. 

定义 14.5.8 由 (14.23) 给 出 的 mx,(z) 称 为 m(x) 的 权 函 数 
估计 

恨 据 上 述 关 于 权 的 选取 原由 的 思想 ,知道 权 { 人 {Wii 二 1,… sn? 
是 xz 和 样本 基 ,,…,XX, 的 -一 组 函数 , 常 几 的 权 函 数 有 核 函 数 权利 
近邻 权 ， 

定义 14. 5.9 ee R* 上 的 非 负 函数 及 下 常数, 邻 


W,; = K| 5 3 /2x i= 1 


网 {WW sly 于 到 
在 上 述 定 义 中 , 核 不必 是 密度 画 数 ,但 常用 的 核 为 在 原点 
有 单 峰 的 对 称 函 数 . 上 和 节 推 荐 的 三 种 核 函 数 (14,. 197. (14.20)， 
(14. 21) 可 供 考 虑 , 窗 宽 上 的 选择 可 参见 14.5.1 中 有 关 披 述 . 
关于 近邻 权 , 事 先 应 在 以 中 引进 一 个 适当 的 距离 函数 
对 和 Ro 表示 x 和 ww 两 点 的 距离 . 对 将 
， 229 ， 


定 的 z 将 样本 羽 1 按 到 于 的 距离 重 排 为 Xa a” ,Xn ,使 得 
Iz— Xa Sz Xl Xa l. C14.24) 
定义 14.5.10 设 ccr 为 一 组 非 负 实数 , 满 是 之 cz 之 … 


Sc, ED 二 1. 在 定义 14. 5.9 所 规定 的 意义 下 , 令 
Wh = rf = se on 

则 {Wi 司 =1;… nn) 称 为 一 组 近邻 权 Cnearest neiburgh weights) 

选取 近邻 权 的 基本 思路 是 ;与 x 相近 的 忌 所 对 应 的 Y; 赋 子 
较 大 的 权 . 一 种 常用 的 近邻 权 是 : 选 定 一 个 正 整 数 请 令 上 一 cz 一 
一 ce 一 二 ,ce 一 人 … 一 cs 一 0 的 选取 准则 见 节 14. 5.1 中 关于 近邻 
密度 估计 中 的 有 关上 叙述 ， 

由 于 蔷 是 4a 维 的 ,所 以 距离 函数 的 选择 有 一 定 的 任意 性 . 通 
常 可 考 虚 一 种 加 权 的 闵可夫 斯 基 {Minkowski) 妈 离 , 即 对 R” 中 的 
两 个 点 二 【和 1 "Wz) 和 和 vu 二 [和 9 rT) ; 令 


ju ol [al — ml), (14. 25) 
4 一 1 


其 中 7 之 1 为 图 可 夫 斯 基 常 数 ,a>0,71 一 1,…,d， 2》Jat = 1. (ar 


为 事先 给 定 的 一 组 权 ,赋予 各 个 分 量 以 不 同 的 重要 性 或 将 各 分 量 
的 单位 统一 化 . 


另外 还 可 考虑 使 用 最 大 分 量 模 距离 . 
| a 一 | on 一 maxar|u — wrl, C14. 26) 
其 中 a 的 含义 如 上 - 一 


除了 用 权 应 数 居 计 直接 去 拟 合 回归 函数 mw(zx) 之 外 ,还 可 将 

权 函 数 方法 与 最 小 二 葬 法 结合 起 来 使 用 . 具体 作法 是 这 样 的 :首先 

由 样本 (7, ,和 )，…， (ZX 去 拟 合 一 个 线性 模型 y 一 序 十 忆 z, 用 

最 小 二 乘法 得 到 线性 回归 系数 & 和 8 (d 维 向 量 ) 的 估计 访 和 
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启 . 然后 令 
Zi = YP PXii= ln (14. 27) 
再 对 (ZX (Zs 玉 ) 用 权 孙 数 方 法 ,得 到 一 个 非 参 数 回 归 舍 
计 r(x 相当 于 在 式 (14. 25) 中 用 2; 去 代 圭 .mx, (x) 利 形式 上 
看 成 是 变量 Z 关于 变量 针 的 回归 函数 的 估计 . 这 时 整个 回归 函数 
CY 关于 如 的) 估计 为 
mx) = BP ~ Px mr). (14, 28) 
这 样 做 的 好 处 是 : 既 给 出 了 回归 曙 数 的 线 人 性 部 分 5( 房 十 庙 z)， 
同时 又 对 其 非 线性 部 分 (如 果 确 实 存在 的 话 ) 给 出 了 : :个 合理 的 估 
计 ( 遍 (zy )， 
” 非 参数 回归 也 如 同 非 参数 密度 估计 一 样 ,需要 在 实践 中 反复 
使 用 才能 积累 训 足 的 经 验 , 


14. 5.3 非 参 数 判别 


关于 判别 分 析 的 - - 艇 概念 .在 第 18 章 第 5 节 中 已 有 较为 详细 
的 介绍 . 假定 总 体 分 为 zm 个 子 体 也 ,……， 开 我们 平头 有 -一 批 样 本 
CY 让,CY,, 久 ,) ,通常 称 为 训练 样本 (Ctraining sample) 其 中 
X, 为 q 维 的 ,表示 第 i 个 样品 的 有 关 指 标 值 ,Y; 取 值 于 {1 ,*… ,mm)， 
表示 第 i 个 样品 是 取 自 子 体 的 编号 (Y; 一; 表示 第 i 个 样品 取 自 子 
体 五 ,). 现在 来 了 一 个 新 的 样品 ,其 指标 值 为 总 ,要 判别 其 所 属 的 
子 体 . 用 了 记 其 所 属 子 体 的 编号 ,问题 转化 为 佑 计 了 . 下 面 介绍 用 
核 方 法 和 近邻 方法 进行 非 参 数 判 别 的 一 般 程序 . 

首先 介绍 用 核 方 法 进行 判别 . 设 x, 为 子 体 也 在 总 体 中 所 占 
的 比例 , f(z) 为 子 体 也 的 密度 ,j 一 1,…,m, 根据 定理 18. 5.3 
知 ; 员 夺 斯 判别 法 则 是 : 

当 mfr mex mi 六 Cr) 时 ,判定 工 一 !。 (14. 29) 


有 时 也 假定 x ,… ,x 未知. 因此 ,一 个 自然 的 想法 是 ,直接 估计 
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方 (zj 一 1 和 :一 1 .然后 将 得 到 的 估计 值 代入 式 
(14. 28), 便 可 进行 判别 . 具体 作法 是 :将 训练 样本 按 了 , 的 取 值 分 
组 ,使 得 YY; 取 相 同 值 的 样本 归于 一 组 . ( 道 常 要 求 训练 样本 在 
个 子 体 内 都 有 代表 ,. 否则 车 某 个 子 体 内 没有 训练 样本 , 则 无 法 判别 
痢 样 本 是 否 属于 该 子 体 . ) 为 叙述 简便 计 , 不 妨 设 m 二 2 =Y;= 
一 1 一 2. 于 是 将 天 样本 分 成 两 组 ; {XX ，…， 
X } {KX + 前 一 组 取 自 rie 后 一 组 取 自 H;. 用 这 两 组 证 | 
练 样本 分 别 对 fi (x}y 和 fCx) 按 照 定 义 14.5.3 作 核 密度 估计 
如 下 : 


fi(x) = | 人] ， 
fulx) = pz >» Kk 全 | ， 《14. 30) 
其 中 天 和 声 分 别 为 选 定 的 核 和 窗 宽 ,ma* 一 ?一 汪 ， 
至 于 tl 和 Te 的 估计 可 用 
AT) 一 更/ 元。 一 zj (C14. 31》 


使 用 这 估计 需要 有 一 个 前 提 : 全 部 训练 样本 是 从 大 的 总 体 中 随机 
抽 到 的 ;否则 便 没 有 意义 . 

将 所 3 万 和 zzz 和 代入 (14.29) 式 , 便 可 进行 判别 ， 

至 于 近邻 方法 用 于 非 参 数 判 别 则 有 两 条 路 径 可 循 ,其 一 是 如 
同上 述 用 核 方法 估计 疡 rz) 和 六 (z) 一 样 ,用 近邻 法 去 估计 广 Cz)， 
然后 代入 (14. 29) 进 行 判别 , 另 一 条 路 径 是 直接 法 ,其 做 法 如 下 :在 
Ra 中 定义 一 个 距离 画 数目 ， |( 见 上 一 小 节 中 的 有 关 叙 述 ). 设 新 
样本 和 一 x. 根据 (14. 24) 式 将 样本 重 排 为 XX ,Xr,，… ,Xn 指定 
一 个 正 整 数 率 ,在 对 应 着 Xe ，… ,Xr 的 Y 样本 信 Yx ,… ,Ys 中 , 接 
照 多 数 选 举 法 的 原则 来 判定 了 值 . 即 当 j 为 Ya ，…:Ys, 中 出 现 的 
次 数 最 多 的 值 , 则 判定 了 =j 车 Ys，*… Ya, 中 出 现 最 多 的 值 不 止 
一 个 , 则 判定 为 序号 最 小 的 . 这 样 做 的 一 个 前 提 是 事先 将 子 体 了 ， 
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… :了 按照 一 用 错 判 后 造成 的 严重 性 从 大 到 小 进行 排序 比如 说 ， 
病人 有 病 而 错 判 为 无 病 所 造成 的 后 果 比 无 病 而 错 判 为 有 病 的 后 果 
更 为 严重 ,因此 代表 病人 有 病 的 子 体 序 号 应 在 前 ,而 代表 无 病 的 子 
体 序 号 应 在 后 . 

以 上 非 参 数 判 别 方法 的 优点 是 :对 总 ( 子 ) 体 的 分 布 形式 事先 
不 作 任何 假定 , 国 而 有 较 广泛 的 适应 性 . 特别 是 最 后 介绍 的 近邻 判 
别 法 , 它 避 开关 对 ,的 估计 ,在 实际 应 用 中 更 有 其 优点 . 

如 朵 在 密度 佑 计 和 回 妇 个 计 中 的 情形 一 样 , 在 非 参数 判别 中 
用 核 方 法 时 核 和 徐 宽 的 选择 及 在 用 近邻 法 时 距离 函数 及 近邻 个 数 
的 选择 都 要 根据 具体 情况 和 经 验 来 确定 ,没有 一 成 不 变 的 规则 . 


14.6 稳健 统计 


统计 学 的 基本 方法 是 对 数据 建立 一 定 的 概率 模型 ,就 是 说 样 
本 服从 一 定 的 概率 分 布 ,在 此 基础 上 根据 问题 的 要 求 ( 估 计 某 一 参 
数 , 检 验 某 一 假设 等 ) 提 出 - - 定 的 统计 方法 (一 个 点 佑 计量, 一 个 检 
验 等 ). 对 同一 个 统计 问题 的 不 同方 法 ,通常 要 提出 一 个 适当 的 择 
优 淮 则 (例如 在 点 估计 问题 中 要 求 方差 最 小 ,无 偏 佑 计 等 ) .在 此 准 
则 下 去 选择 "最 优 " 的 统计 方法 . 

但 在 实际 问题 中 常 遇 到 的 情形 是 :人 为 建立 起 来 的 数学 统计 
模型 与 实际 背景 不 可 能 完全 一 致 ,而 是 存在 着 一 定 的 (尽管 可 能 是 
币 小 的 ;偏差 . 例如 ,通常 总 假定 样本 是 采 自 正 态 总 体 ,而 实际 上 总 
体 分 布 可 能 是 一 种 接近 正 态 而 非 正 态 的 分 布 . 另外 ,在 采集 数据 的 
过 程 中 由 于 某 种 失误 (例如 仪器 工作 不 正常 ,或 记录 数据 时 发 生 笔 
误 等 ) , 常 使 样本 中 的 若干 个 数据 不 真实 . 这 些 失真 的 数据 常 以 离 
开 数 据 群 体 而 破 立 出 现 , 通 常 称 为 异常 值 Coutlier). 当 上 述 情形 出 
现时 , 某 些 在 假定 的 模型 下 共有 理论 上 优良 性 质 的 统计 方法 会 变 
得 效果 很 坏 ! 例如 在 正 态 总 体 下 ,样本 均值 居 是 总 栖 均值 的 最 小 
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方差 无 偏 估 计 , 但 当 样本 中 混入 一 个 很 大 的 异常 值 时 ,总 的 变化 
很 大 ,导致 估计 严重 失真 ， 

基于 上述 考虑 ,人 们 提出 对 统计 方法 要 求 有 稳健 性 
(robustness ,又 译 为 鲁 赚 性 ) ,其 含义 为 :(1) 在 实际 背景 与 所 假定 
的 统计 模型 符合 时 ,该 统计 方法 具有 和 良好 药性 能 (但 不必 是 在 某 种 
谁 则 下 最 优 );(2) 当 实 际 背 景 与 假定 模型 有 少许 差异 时 ,其 性 能 
所 受到 的 影响 也 较 小 :(3) 当 实 际 背 景 与 假定 模型 严重 不 符 时 ,其 
性 能 不 致 太 坏 . 满足 上 述 要求 的 统计 方法 便 称 为 具有 稳健 性 . 

在 数学 上 描述 稳健 性 ,统计 学 家 定义 了 一 些 概 念 ,并 在 此 基础 
上 建立 起 一 套 理论 . 本 书 对 一 些 常用 的 方法 作 些 介绍 ,本 节 的 内 容 
是 关于 稳健 统计 的 若干 片段 . 
首先 介绍 总 体 均值 和 总 体 方 差 的 稳健 估计 . 熟知 ,样本 均值 和 
样本 方差 作为 总 蛋 均 值 和 方 鞠 的 估计 ,即使 在 非 参数 佑 计 的 场合 
《 即 假 定 总 体 分 布 完全 未 知 , 只 承认 总 体 均 值 和 方差 均 存 在 是 有 
限 ) ,也 是 常用 的 估计 方法 ,具有 强 相 合 性 和 渐 近 正 态 性 ,但 是 其 前 
提 必 须 是 样本 为 独立 同 分 布 的 . 当 样 本 受到 污染 , 即 混 人 一定 的 异 
常 值 时 ,样本 的 独立 同 分 布 性 便 被 破坏 了 ,这 时 用 样本 均值 和 样本 
方 莽 去 估计 总 体 均 值 和 总 体 方 差 的 效果 就 会 变 得 很 坏 . 由 于 异常 
值 通 常 家 现 得 比 正常 的 数据 偏 大 (或 偏 小 ), 因 此 造成 均值 的 估计 
会 偏 太 (或 偏 小 ). 一 个 自然 的 想法 是 :将 样本 中 特别 大 或 特别 小 的 
数据 5 有 一 定理 由 怀疑 它们 是 异常 值 ? 去 掉 , 用 剩 下 的 数据 进行 算 
术 平 均 来 估计 总 体 均 值 . 这 种 做 法 并 不 是 什么 特别 新 鲜 的 东西 . 例 
如 在 体育 比赛 中 , 当 由 多 个 裁判 员 用 记分 的 方式 来 决定 名 次 时 ,为 
避免 个 别 裁判 不 公正 地 给 运动 员 打 过 高 或 过 低 的 分 ,从 而 严重 地 
影响 运动 员 的 名 次 ,一 种 常见 的 做 法 是 ;去 掉 -… 个 最 高 分 及 一 个 最 
低 分 ,用 剩 下 的 中 间 分 进行 平均 ,这 便 是 运动 员 的 实 得 分 数 , 这 就 
是 所 请 的 * 切 尾 均值 ”ftrimmed mean). 

定义 14. 6.1 设 筷 .…, 苞 ,为 样本 ,XXXo 为 相应 的 头 
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序 统计 基 ,给 定 正 数 se<0.5, 切 尾 均 值 为 “ 


Latl— et 1 

切 旦 均值 的 含 义 是 :将 样本 切 去 上 下端 各 100a% 数 目的 数 
据 , 将 余 修 的 取 算 术 平 均 . 当 总 体 分 布 对 称 时 ,了 . 可 用 于 估计 分 布 
的 对 称 中 心 ; 当 为 偶数 ;而 (1 一 和) 一 2 或 有 为 奇数 ,而 (1 一 a) 
二 1 时 ,相当 于 用 样本 中 位 数 去 估计 分 布 对 称 中 心 . 道 常 为 利用 样 
本 中 足够 多 的 信息 ,a 应 取得 较 小 ,例如 0. 05 或 0.01 等 . 这 要 根 
据 样 本 数目 n 的 大小 及 究竟 怀疑 有 多 少 异常 值 而 定 , 也 可 指定 两 
个 值 a ,a 样本 左 端 切 掉 100a % 的 数据 , 右 端 切 控 100ams% 的 
数据 . 

切 尾 的 方法 也 可 用 于 方差 千 计 . 

定 尺 14. 5.2 在 定义 14.6.1 的 记号 下 ,定义 样本 的 切 尾 方 
姜 为 


intl -qry11] 
OD: - 和 CX 一 了 和， 
其 中 了 为 切 尾 均值 . 
切 尾 询 值 T。 是 总 体 均 值 # 的 强 相 合 和 渐 近 正 态 估计 . 设 总 
体 分 布 为 FR(r), 有 
aT fF NOD (4.32) 


其 中 


T= 


CI = (a — pdF Cu), (14., 33) 


ze 为 下 的 上 《全 他 娄 
字 可 用 二 于。 来 估计 ， ;利用 (14. 31) 的 结论 , 当 半 较 大 时 ,可 
对 均值 y 作 区 同 估计 或 假设 检验 . 
使 由 切 许 方 法 的 一 -个 问题 是 ;究竟 该 切 掉 多 长 的 尾 , 凤 a 取 多 
大 是 事先 很 难 掌握 的 , 弄 不 好 会 把 正常 的 数据 切 掉 . 下面 介绍 一 类 
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有 统一 数学 形式 的 估计 方法 ,常用 于 估计 总 体 的 位 置 参数 ,特别 是 
分 布 的 中 心 位 置 . 这 类 估计 统称 为 好 估计 . 
引 理 14. 6.3 设 pw) 为 定义 在 (一 吕 ,o0) 的 隙 数 , 且 存在 ww,， 
使 在 (一 ce ,mm] 非 增 , 在 [ao,co) 非 降 , 又 设 下 为 一 连续 分 布 函 
数 , 满 足 条 件 : 
ht) = | p(x 一 dFCz) 对 YiE (一 coco) 都 存在 ,县 存 在 
8 使 得 As cc。 设 实数 了 To(R)? 满 足 
ATAFY) 一 min XA), (14. 34) 
刚 工 (了 为 FF 的 一 个 位 置 参 数 . 
例 14.6.4 在 引 理 14.6.3 的 记号 下 
C1) 当 pO) 二 wi 时 ,TT,(F) 二 jy， 玉 的 均值 . 
(2) 当 pl) 一 1a| 时 ,TA(F)=m: 玉 的 中 位 数 . 
dus 0 
(3) 当 pl) 一 pw 0" 其 中 p>0,q>0,p+g=1; 
如 工 ,CF) 二 xp: 下 的 上 分 位 数 . 
对 引 理 14. 6. 3 所 定义 的 位 置 参数 了,CF) ,自然 可 以 考虑 用 下 
总 体 所 得 到 样本 六 |,… ,XX, 的 经 验 分 布 应 数 去 代替 下 ,而 得 到 一 
个 估计 了 ,CF,), 简 记 作 二. 容易 验证 了 , 满足: 


Pox, 一 7,) 一 min Dox — 4). (14. 35) 
定义 14.6.5 在 引 理 14.6.3 的 条 件 和 记号 下 ， 满足 (14. 34) 
式 的 统计 量 T, 称 为 了 。(F) 的 寻 估 讨 . 
例 14. .6.6 


(1) 当 pla) 一 w? 时 ,了 7, 一 这 : 样本 均值 . 
(2) pln) = |u | 样本 中 位 数 . 
一 pu， 当 w2>0 
C3) 当 p(x) 一 pu, yw 0 
T= 总 :样本 上 思 分 位 数 . 
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Et0O, 1 时， 


E 例 给 出 的 几 个 M 估计 ,有 的 是 不 稳健 的 ,例如 叉 ( 见 本 小 
节 ). 而 有 些 是 稳健 的 ,例如 样本 中 位 数 mx(X) ,由 于 mm(X) 是 由 须 
序 统计 量 中 间 的 一 个 或 两 个 的 算术 平均 得 到 的 ,因此 即使 在 样本 
中 混入 少量 过 大 或 过 小 的 异常 值 , 也 不 会 影响 到 m(X) 的 值 . 根据 
上 述 理由 ,对 样本 p 分 位 数 ( 作 为 总 体 p 分 位 数 的 估计 ), 可 以 说 : 
p 钱 接 近 方 时 ,该 估计 就 愈 稳健 ;反之 , 当 p 钝 僻 近 0 或 1 时 ,该 
估计 就 分 不 稳健 

但 M 估计 的 重要 性 不 在 于 严格 按照 定义 14. 6. 3 所 给 出 的 位 
填 参 数 用 相应 的 M 知 计 去 估计 之 , 重要 的 是 :我 们 可 以 把 M 估计 
看 成 是 一 种 寻 技 稳健 估计 的 一 般 准 则 ,用 于 估计 总 体 分 布 (在 某 种 
意义 下 ) 的 中 心 位 园 . 例如 . 当 总 体 分 布 玉 为 对 称 分 布 时 ,总 体 均 
值 x 和 中 位 数 相 重合 ,都 是 分 布 的 对 称 中 心 . 这 时 如 把 总 体 对 称 
中 心 看 成 是 均值 ,用 样本 均值 去 估计 之 则 是 不 稳健 的 ,而 用 样本 中 
位 数 去 估计 (对 对 称 中 心 看 成 是 中 位 数 ), 则 是 稳健 的 . 一 般 ,我 们 
可 用 满足 下 述 条 件 的 统计 量 7 


DX T=mno Tot 《4.36) 
7 一 | z 一 1 


去 佑 计 总 体 分 布 的 对 称 中 心 ,其 中 rE [Ll,21 为 指定 的 常数 .这 里 
相当 于 在 (14. 34) 式 中 令 stn) 二 |u|". 当 rr 二 2 时 ,使 得 到 样本 均 
值 ,而 r=1 时 便 得 到 样本 中 位 数 . 在 实用 中 可 考 虚 取 r 在 [1,2] 区 
间 中 的 伪 , 例 如 令 一 372, 其 效果 是 既 可 使 所 得 估计 有 较 好 的 稳 
健 性 ,又 可 多 利用 一 些 样 本 中 的 信息 ;所 付出 的 代价 是 计算 量 增 
太 . 因 为 当 r 舌 1 或 2 时 (4.36) 式 没有 一 个 简单 形式 的 解 ,而 需 
要 使 用 数值 计算 方法 5 例如 插值 法 ). 

由 (4.36) 式 定义 的 邮 估计 方法 还 可 用 于 回归 分 析 ,作为 通 
常 最 小 二 乘法 的 一 个 补充 和 推广 . 设 Y 为 1 维 因 变量 ,为 dd 维 
白 变 量 , CY ,XCY ,XX) 为 取 自 总 体 (Y ,多 } 的 样本 .要 用 XX 
的 线性 函数 记 十 RX 天 回归 了 ,其 中 所 和 记 (d 维和 疝 量 ) 蚌 待 估 参 
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数 . M 合计 所 和 和 疡 应 满足 方程 : 
> IY:; 一 Bo 一 PX, | 一 min > Yi 一遍 一 PR;|". (4.37) 
其 中 > 和 [1,2. 当 > 一 2 时 , 便 得 到 通常 的 最 小 二 乘 解 , 当 >< 失 2 时 ， 
便 得 到 Bo 和 B 的 一 个 稳健 估计 . 
解 14. 37 式 比 解 14. 36 式 更 困难 . 由 于 存在 着 d 十 1 个 未 知 变 
量 . 普通 的 插值 法 不 能 使 用 ,而 需要 使 用 梯度 法 或 牛 帆 法 等 计算 导 
数 的 方法 ,同时 还 存在 着 局 部 极 值 的 问题 , 使 用 者 需 对 上 述 算法 有 
一 定 的 了 解 和 计算 经 验 ,才能 上 机 计算 ， 
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15 回归 分 析 


of 


15.1 3| 


影响 一 个 实验 的 各 个 变量 之 间 存 在 相互 联系 ,它们 之 间 有 两 
种 方式 ; 

(1) 确定 性 关系 : 变量 之 间 存 在 着 完全 确定 的 函数 关系 . 写 
成 一 般 式 子 为 ?=ACrlzra zu 并 称 x,… ,zm 为 自 变 量 ,y 为 
因 变 量 . 例如 电路 中 的 欧姆 定律 , 设 V 表示 电压 ,RR 表示 电阻 ,7 了 表 
示 电 流 ,欧姆 定律 指出 


V = 1R, 
三 个 变量 中 如 已 知 两 个 变 景 的 值 ,就 可 以 准确 地 算出 第 三 个 变量 
的 值 . 
《2) 相关 关系 ; 在 许多 实际 问题 中 ,由 于 变量 之 间 的 关系 比 
较 复 杂 , 或 者 试验 中 误差 的 影响 ,使 我 们 很 难得 到 精确 的 数学 表达 
趟 ,从 而 使 变量 之 间 的 关系 具有 某 种 不 确定 性 . 例如 在 炼 钢 时 , 熔 
毕 碳 与 精炼 时 间 有 一 定 的 关系 ,知道 了 熔 毕 碳 可 以 大 致 估计 出 精 

炬 时 间 , 但 不 能 精确 地 定 出 精炼 时 间 ， 

但 是 ,在 大 景 重复 试验 之 后 ,我 们 可 以 发 现 这 些 变量 具有 某 种 
确定 的 概率 分 布 ,变量 之 间 最 从 某 种 统计 规律 . 利用 统计 方法 研究 
这 种 规律 就 是 回归 分 析 , 回归 分 析 主要 处 理 连 续 型 随机 痰 量 之 间 
的 相关 关系 ,利用 它 来 建立 经 验 公 式 ,确定 最 佳 生产 条 件 ,预报 气 
象 与 病 虫 韦 等 等 ， 

本 章 中 ,我们 要 讨论 下 列 内 容 : 

(1) 根据 试验 数据 ,确定 描述 变量 之 间 的 关系 式 . 


《2) 对 关系 式 的 可 信 程 度 进行 统计 检验 . 

(3) 也 影响 试验 指标 的 许多 变量 中 ,选择 出 影响 显著 的 变量 . 
(4) 建立 变量 间 关 系 的 非 线 性 模型 . 

(5) 改进 的 最 小 二 乘 估计 方法 一 岭 回电 


15. 2 一 元 线性 回归 


15. 2. 1 回归 直线 的 求法 


一 元 线性 回归 处 理 的 是 两 个 变量 与 y 之 间 的 线性 关系 ,也 
就 是 通常 所 说 的 拟 合 直线 问题 . 

假定 .我 们 通过 试验 得 到 两 个 变量 x 与 y 的 若干 数据 对 x; 与 
Y(t 二 ] ;208) :这些 点 《x;y) 称 为 样本 点 ,将 它们 描绘 在 直角 
毕 标 系 中 . 假定 变量 > 与 y 之 间 存 在 某 种 线性 关系 . 用 下 而 模型 

定 兴 15.2.1 yy 一 4 十 pr 十 5， 
其 中 的 a,6 是 待定 常数 .es 为 随机 变量 . 上 式 称 为 一 元 线性 回归 模 
型 (the simple linear regression),a,6 为 回归 系数 ;问题 是 如 何 确 
定 a 示 的 值 ? 设 

y =a hrs 人 一 

是 在 观测 点 zx 上 的 观测 值 . 如 果 给 定 了 a.5 的 估计 和 值 2,5, 计 算 在 
zz 点 处 的 固 变量 信和 ,得 到 y 一 a 十 bzrioi 一 1,2,** 1h. 总 然 与 
之 间 存 在 误差 8 一 > 一 %i 一 1 根据 “最 小 二 乘 ?* 原 理 , 系 
数 a.5 的 全 计 应 使 误差 平 方 和 


Q= > 并 一 Voy, — 
1 一 1 1 一 1 


= Dy 一 中 一 站 (15. 1) 


为 最 小 即 选 择 沁 使 得 下 式 满足 ， 
240。 


yy —a— br)= min > Cy — a— br):, (15.2) 
称 4a, 分 别 为 a 与 5 的 最 小 二 乘 和 估计 
7 二 十 Br， (15.3) 
称 为 一 元 回归 方程 . 
对 久 关 于 “a 汉 分 别 求 一 阶 依 导数 ,并 令 其 等 于 零 ,可 求 得 <,2 
的 最 小 一 乘 估计 为 


a y— br, 《15. 4) 

b= ja (15.5) 
其 中 

ce 

5 Dy 


Ls Pri— Xly— yo Dry — nry 


1 


i=1 i 


可 可 
一 Eo 2 2 
Li > Cn, 一 2) 二 ks 一 HI, 
T 一 上 = 


15. 2.2 ”回归 方程 的 显著 性 检验 


利用 式 (15.4) 和 《15, 5) 我们 可 以 求 出 回归 方程 y 一 a 十 br, 当 
知道 了 xz 的 值 时 ,可 用 yy 去 预测 y 的 值 .但 是 它 是 否 基 本 上 符合 
变量 xz 与 ?之 间 的 客观 规律 呢 ? 也 就 是 问 , 所 拟 合 的 回归 直线 在 
多 太 程 度 上 能 上 反 觅 出 xz 与 之 间 的 真实 关系 ?为 了 回 管 这 个 问 
题 , 我 们 需要 找到 一 个 能 反映 变量 xz 与» 之 间 线 性 关系 密切 程度 
的 统计 基 , 以 便 进行 统计 检验 , 下 面 ,我 们 介绍 回归 方程 的 显著 性 
检验 方法 . 
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相关 系数 检验 法 (test of correlation coefficient) 
可 以 证 明 
Ly =Q+U. (15. 6) 
其 中 


工 ,一 2 一 3) 一 2 一 py 


久 一 >) (yy 一 yy 
一 | 


T - ~ a Li, 
[一 Dy, -一 多 一 7 一 。 
?一 1 


TIr 


式 中 7, 表示 观察 值 y; 与 均值 y 之 差 的 平方 和 , 它 反映 了 数据 y 
总 的 波动 情况 ;@ 是 观察 值 y; 与 回归 值 y; 之 差 的 平方 和 , 它 反 映 
了 观察 值 偏 离 回 归 直 线 y=a 十 bz 的 程度 ;U 是 回归 值 % 与 平均 
值 y 之 差 的 平方 和 , 它 反映 了 因素 zx 对 变量 y 线性 关系 的 密切 程 
度 , 式 (15.6) 告 诉 我 们 ,数据 y; 总 的 波动 了 ,是 由 两 方面 引起 的 ， 
一 方面 是 由 于 因素 z 的 变化 所 引起 的 波动 上 , 称 它 为 回归 平方 和 ; 
男 一 方面 是 其 它 的 偶然 因素 (有 即 随 机 误差 ;对 y 引起 的 波动 , 称 @ 
为 剩余 平方 和 . 

对 于 给 定 的 一 组 数据 Cx,y) Gi 一 1,2,…,n) ,如果 点 (x,y) 
的 分 布 很 接近 于 一 条 直线 , 则 外 人 导 相 对 于 习 值 较 小 ,反之 , 若 点 
zs) 分 布 偏离 直线 , 则 外 值 相对 于 上 值 较 大 . 


， 本 
定义 15.2.2 1r| 一 1 一 了 


称 > 为 变量 与 ?的 相关 系数 (correlation ceefficient). 它 的 大 小 

能 反映 出 变量 x 与 y 间 的 线性 密切 程度 . 它 的 值 界 于 一 1 与 1 之 

间 . 当 Q@ 相对 于 U 秆 很 小 时 ,r 接近 于 | 士 11 ,说 明 变 量 + 与 y 的 

线性 关系 很 密切 ,这 时 的 回归 方程 有 实际 意义 ; 当 包 相对 于 U 值 
» 24d2* 


很 大 时 ,r 接近 于 0, 说 明 xz 与 ?之 间 没 有 密切 的 线性 关系 ,这 时 的 
回归 方程 无 实际 价值 

定理 15.2.3 设 关 是 总 体 (zvy) 的 相关 系数 , 当 假 设 五 .: 
一 0 成 立时 ,统计 量 


服从 自由 度 为 x 一 2 的 + 分 布 . 

对 于 给 定 的 显著 性 水 平 a(0 才 a1), 以 及 自由 度 mn 一 2(n 是 
样品 点 的 个 数 ) , 查 * 分 布 玫 得 出 相应 的 临 异 值 ,从 而 对 百 , 进 行 
检验 ， 

当 tt 时 ,否定 原 假 设 , 认 为 x 与 y 存在 线性 关系 ; 

当 #sstr 时 ,接受 原 假 设 ,认为 xz 与 y 不 存在 线性 关系 ， 

F 检验 法 

如 果 变 量 > 与 ? 间 无 线性 关系 ,回归 方程 中 的 回归 系数 一 
0, 所 以 检验 两 个 变量 之 间 是 否 有 线性 关系 ,只 需要 检验 假设 ; 

Ho: 8=0 

是 否 成 立 . 

定理 15. 2.4 在 假设 态 ,:#8 二 0 成 立时 ;Ly,;U,Q@ 分 别 是 自由 
度 为 让 二 n 一 1, 抽 一 11fn 一 xn 一 2 的 涪 变 量 ; 并 且 多 与 U 相 王 独 
立 , 于 总 统计 量 


BE/ 六 一 2 

AAA Q 
服从 自由 度 为 Cfo,fo}) 的 下 分 布 . 

对 于 给 定 的 显著 性 水 平 4, 及 相应 的 自由 度 (1,n 一 2), 查 下 分 
布 得 相应 的 临界 值 下 ,如果 下 洁 ,, 则 否定 原 假 设 酝 , ,认为 y 与 x 
存在 线性 关系 ;如 果 玉生 下, 则 接受 原 假 设 , 认 为 3 与 zx 闻 不 存在 
线性 关系 . 

列 出 方差 分 析 表 如 表 15. 1. 


了 
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表 15. 1 


方差 来 油 平方 和 自由 度 | 斑 均 平方 和 五 值 总 著 性 
和 ， ， 了 
加 归 UBL Uf- Ba 
或 


_ a2)r’ 


剩余 Q= D0 n—2 [Q/(n—2) |F 


总 和 | Ly 一 Dy 一 WD | nl 
i=] 


15. 2. 3 用 回归 方程 进行 预测 


有 了 回归 方程 ,我 们 就 可 以 根据 变量 * 的 取 值 来 预测 y 的 相 
应 值 . 但是 ,由 于 > 与 2 之 间 是 相关 关系 ,我 们 自然 要 问 : 用 回归 
方程 来 预测 y 时 的 精度 如 何 ? 为 此 ,采用 类 似 于 区 间 估 计 的 方法 ， 
给 定 置信 和 度 1 一 a, (其 中 0<a&1) 求 出 在 这 种 置 代 和 度 下 预测 变量 y 
所 取 的 可 能 值 范 围 . 

利用 > 的 璋 余 均 方差 


Dy CO— 
?一 ] 


拉 一 他 


-fr 
天 一 了 
来 表示 变量 y 偏离 回归 直线 的 误差 . 
对 于 任 一 国定 的 xo, 相 应 的 观察 慎 yo 将 以 1 一 a 的 概率 落 在 


区 间 : 


《15,7) 


(26 — Zearys 十 ZESs) (15, 8) 
内 . 
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其 中 从 基 标 准 正 态 分 布 上 六 五 分 位 点 之 值 . 
为 了 形象 起 见 , 我 们 在 回归 直线 y=a 十 br 的 上 下 作 卫 条 平 
行 虚 直 线 


了 


C15. 02 
La: 二 a bz 十 Lid 


它 袁 明 ,在 全 部 可 能 出 现 的 观察 值 yw 中 .大约 有 10001 一 a) 关 的 点 
落 在 这 两 条 线 二: 与 忆 所 夹 的 范围 内 ， 


Yd 二 SS 
Pr 


Vat hr ,5 


图 1%.1 - 死 回 晤 的 预 洲 


15. 2.4 计算 从 式 和 计算 步骤 
(1) 为 了 便于 计算 ,通常 先 做 下 述 线 性 变换 


(15. 10) 


式 中 CL at sd :dd; 为 常数 ， 
(2) 按 公式 (15.11) 对 新 变 世 与 x 进行 计算 
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一 1 r 
Y= 
"=1 
Lr 一 Dr nw, 
i=1 
< 《15. 11) 


a 

I a 

Ly = > Tiyi— RX yy, 
i=-l 


yy 一 Dy any, 
"一 ] 
b= Lv /Tr 
oo 


d= 


《3) 代 回 原 变 量 , 得 到 x,y 的 回归 方程 


2 二 a 十 疡 二 元， 《15. 12) 
2 ] 


(4) 按 下 述 公式 进行 统计 检验 : 
Ur 一 施工 一 让 了 
人 @ = Ly —U', 
_ AU 
oa 
由 给 定 的 显著 性 水 平 a, 及 自由 度 届 ,xn 一 2) 的 下 分 布 表 , 得 相 
永 的 临界 值 FF. 车 F' 守 FR, 则 认为 一 元 线性 回归 模型 (15. 2. 1) 成 
六 ,车 户 志 FF,, 则 认为 读 模 型 不 成 立 . 
(5) 对 问 归 直 线 进行 预测 


-r/o 
$3 = nO— 2 


Ss 一 上 3。 


《15. 13) 
F! 
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据 此 作 两 条 平行 虚 直 线 
21 一 丸 十 ez 一 Za 
yz = a br Zs. 
可 以 预料 和 将 以 绊 一 的 的 概率 落 在 直线 与 yy 之 间 。 
例 15.2.5 从 某 矿石 中 取得 14 块 样 晶 , 测 得 Ni 和 Ps0; 的 舍 
量 如 表 15.2, 试 分 析 矿 石 中 Ni 与 P00; 的 含量 之 间 是 否 存 在 线性 


关系 ， 
(1) 作 绥 性 变 搁 


x = 100(Cr — 3), 
y' = 1000(y — 0.0186). 


于 是 将 原始 数据 表 15. 2 转换 成 新 数据 表 15.3 


表 15.2 
j [ 
tx) (yy} Cx) Cy) 
编导 . - 1 编号 _ . 
| Ni(%) BO Nif %) PO 世 ) 
1 0009 4.00 8 0, 014 1.70 
.| | _ 
2 ， nm013 3. 4 9 0,016 2.92 
3 | 0006 3.60 10 ;0.014 4. 80 
4 0 025 1.00 1 0. 016 3.28 
5 0. 029 204 | 12 0.012 1 4.16 
| 
6 0. 007 4. 74 13 0.020 | 3.35 
? 0. 036 0., 60 14 0.018 | 2.20 
|. 


”| TD 
编导 ry 1! ”| | ey | 
| 100Cz—3) | 100007 0.016) 
1 和 DO | D9 100 - 了 10000 — ?700 49 
2 1 3.44 i0.013 4 一 3 1936 | 一 132 | 9 
3 : 3. 80 Io. 006} 60 一 10 3600 | 一 600 | 100 
4 | 1,00 |0.025 — 200 9 40000| 一 1800 | 81 
5 | 2.04 |0.022 一 8 全 9216 | —576 | 36 
6 | 工 74 10.007 174 一 9 30276| 一 1566 | 81 
7 | 0.60 |0.036 一 200 20 57600| 一 4800 | 400 
8 | 1.70 |0.014 一 130 一 2 16900| 260 4 
9 | 29210.016 一 8 0 64 0 0 
10 | 4.80 10. 014 180 一 2 32400| 一 360 4 
11 1 3.28 |0.016 28 0 784 0 0 
12 | 4.16 |0.012 116 一 4 13456| 一 464 | 16 
13 | 3.35 |0.020 35 4 1225 | 140 16 
14 | 2.20 |0. 018 一 80 2 6400 | 一 160 得 
对 广 一 17 和 22385 相 一 10758| 800 
(2) 按 公 式 (15. 11) 进 行 计算 
一 1 
TX 这 (一 17) 一 一 1.214， 
FY = 工人 4) = 0.286， 
14 
7 一 223857 十 : 17)? 一 223836， 
Lv 一 一 10758 一 在 ( 一 17)04) 一 一 10753， 


ln 
Lv = 800 — (4)? = 799, 
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大 10753 
六 一 了 本 2 ， 
"LL, 223836 0. 048 
a—y yi.286— (— 0.048)(— 1214) = 0.228 


《3) 代 回 原 变量 ,得 zz 与 的 回归 方程 
1000¢Cy — 0.016)= 0. 228 — 0. 048 x 000r - 3) 
y= 0.0306 一 0. 0048x. 


得 
(4) 和 


ti'—»b 
Q'— » —U’ = 799— 516.144 -= 282.856, 


124516. 144) _ ,og 


《一 0.048)( 一 10753) = 516. T44， 


pr 
282. 856 


出 a 二 0.95 查 记 ,wi(1,12) 得 下 ,一 9.93, 现 在 下 一 21, 06 六 
下 ,一 9.93, 淫 亲 认 为 x 与» 之 间 存 在 直线 关系 ， . 
(5) 对 回归 直线 进行 预测 : 


4 /22 856 9, 
no—2 


1 

1 — 

ds = dsds = T0600 0. 049. 
对 于 给 定 的 置信 和 度 1 一 4a 一 1 一 5% 二 95%, 浊 出 2 02; 二 1. 96. 


Li: ya Br- 1. 96 = 0.0210— 0.0048x, 
0.0402 一 0. O0487x. 


Ls: ys =a 二 ort 1. 88; 
于 是 可 以 预料 Ni 将 以 95 叹 的 概率 落 在 直线 万 与 过: 之 间 . 


15.3 多 元 线性 回归 


在 许多 问题 中 ,影响 试验 结果 的 变量 不 止 -个 ,例如 有 户 了 
zx 研究 肉 蛮 基 > 与 白 变 时 rr 和 re 之 同 的 定量 关 


系 是 多 把 回归 分 析 的 任务 . 在 多 元 回归 分 析 中 ,我 们 只 讨论 多 元 线 
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性 回归 Cmultiple linear regresson) 上 问题 . 从 原理 上 讲 , 多元 线性 回 
归 分 析 与 一 元 线性 回归 分 析 相 同 ,但 计算 比较 复杂 . 


15. 3.1 争 元 回归 方程 的 求法 


假设 有 p 个 自 变量 rm ,rs，…yxzr* 而 y 是 表示 实验 指标 的 因 
变量 . 现在 共 进 行 了 次 试验 ,试验 结果 是 : 
(CN 7 2 
假定 因 变量 y 与 p 个 自 变量 z+，，,… ,xz 间 存 在 线性 关系 ,并 可 
用 于 述 数学 模型 表达 ， 
3 二 记 十 Ba 十 … 十 有 rr 十 (15. 14》 
将 = 次 试验 结果 代入 ,可 得 如 下 的 结构 式 
让 二 遍 十 PT 十 Baers 二 二 Brip 十 
| 三 遍 十 Bir 十 Baraz 二 十 Bros 二 5， 


(15.15) 


[> 一 Bo 十 Br 十 Parna 十 … 十 加 ran 十 Er， 
其 中 成 让 ss 是 待 估计 的 参数 称 为 回归 系数 ,e， 是 
# 个 相互 独立 且 服 从 同一 正 态 分 布 wk0,o) 的 随机 变量 . 


引用 下 而 矩阵 符 屿 ， 
[| |! 1 ly lp 
7 一 J x=|! Js] Tee ap 
Ly, J E Xs 于 Tap 
[8 | |: 
B= 作 E 一 MM 
Ba] | 


由 此 ,(15. 15) 可 以 写成 官 阵 形 式 : 
。250 。 


了 一 无 "有 十 (15. 16) 
我 们 的 目的 是 估计 优 数 甩 设 丙丁 分别 是 房 ,8 
的 最 小 二 乘 估计 ,于 是 回归 方程 为 
六 一 和 十 站 了 十 包 ra 十 … 十 总 ca (15.17) 
根据 最 小 二 莱 河 理 , 回 归 系 数 bossb,*,b, 应 使 得 全 部 观察 
值 w 与 回归 值 w 间 的 离 善 平方 和 总 


名 一 > 《yi yi 
为 最 小 . 
将 外 对 总 求 偏 导 数 , 令 诸 偏 导数 为 零 , 并 将 回归 方 


程 (15.17) 在 各 次 试验 下 的 回归 值 3(==1,… ,2) 代 入 ,可 得 下 面 
的 正规 方程 (normal equation) 


4 一 吾 


(15, 18) 
其 中 


EE od ee 


Drs Ti 人 》 raip 人 
L ;= i=1 =1 一 ! 二 
- yy 
=] ' 网 
四 1 
Ty 
B= | |, b= |b, 
|; 
DE 
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不 难 证 明 


入 一 下 下. (15. 19) 
B 一 XY. 《15. 20) 
于 是 正规 方程 (15. 18) 可 以 写成 男 一 形式 : 
(XE)Db = (XY), (15, 21) 
在 4 什 阵 "区 满 秩 的 情况 下 ,存在 道 窒 阵 (和 "下 )”', 轩 而 得 
b= A B= (XX XY. (15. 22) 


式 (15. 22) 居 模 垃 (15.15) 中 参数 请 的 最 小 二 乘 估计 . 
15.3.2 计算 公式 和 计算 步骤 


在 实际 计算 时 ,为 了 方 使 常 末 用 如 下 形式 的 回归 模型 : 
3 po 十 B(x 一 x1) 十 BT; 一 于 人 
十 十 闻 (r 一 YN 十 后 1 一 1,2m (15. 23) 


其 中 的 并 一 Ozeki 一 1 2 六 ) 
这 1 


a 


显然 有 ja 一 > Bz 二 b 


i=1 


这 时 ,相应 的 设计 矩阵 天 ,和 抢 阵 吾 ,以 及 止 规 方 程 系数 算 阵 4 
分 别 为 


1 i 过 en Tp 
1 zl 一 交 fi 2 Ts Yap is 
五 二 (15. 24) 
LE OT Te pp 
+ 
[>y, 
i 7 一] 
B= tl, 
ny 


其 中 


x 
by = Dry ~ zis j,i = 1 2 pb. 
上 一 1 


{yy 一 了 -一 A i 一 1 ,2 ， 访 . 


一 ] 


利用 求 415. 187 相 同 的 方法 ,可 得 下 面 的 正规 方程 


4 一 五， 
或 
p=—~Al'B. 
即 
a l/n 0 oY 
pb 一 b, 一 Ey ， 
0 工 ” bpy 
得 
1 9 yy 
Po 一 nn OY 
1 五 
b a, 
| 一 | 人 |， 
b, dp 
其 中 
也 ;一世 


(15. 26) 


(C15. 27) 


‘15. 28) 


C15, 29) 


(15. 30) 


(15. 31) 
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则 回归 系数 为 
nn 
b= yO— DBT 
i=1 
1 ty 
总 
5 一 后 二 
b, Hs; 
其 中 了 ,一世 


例 15. 3. 1 平 炉 炼 钢 过 程 中 ,由 于 矿石 及 炉 气 的 氧化 作用 , 铁 
水 的 总 会 碳 量 在 不 断 降低 ,一 炉 钢 在 冶炼 初期 (过 化 期 ) 中 总 的 去 
珊 量 y, 与 所 加 的 两 种 矿石 (天 然 矿 石 与 烧结 矿石 ) 的 量 zx,z: 及 深 
化 时 间 xs: 有关, 得 试验 数据 表 15. 4. 

(1) 为 了 求 出 总 去 左 量 » 对 变量 :sz 的 线性 回归 方程 ， 
我 们 利用 回归 模型 (15. 23) ,这 时 疡 一 3: 

yi 二 天 十 及 Crn 一 Xi) 十 有 (za 一 TD) 十 (za 一 Xi 二 Es 
i 一 1 ,2，… ,49. 
《2) 计算 各 变量 的 总 和 ,算术 平均 值 ,交叉 乘积 和 六 ,以 及 5: 


nn 二 49， 

49 

yy = 224. 5169, y = 4.582， 
的 

Dr 一 259， 元 一 5.286， 
提 _ 

zi 一 578， Zz; = 11.796， 
i=1 
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表 15.4 
9 了 | 和 | 并 | 
(+) 〈 棱 ;| 本) (5min) 《fy | (本 ;1{ 槽 》| (5min) 
1 143302| 2 | 18 | 50 | 26 |2.7066 ols 39 
2 |3.6458| 7 | 9 | 40 | 2a7 |5634| 12 | 5s | a 
3 J4.4830| 5 | 114 | 4 | a8 [5.8152| 6 | 1s | 4 
4 |5.5468| 12 | 3 | 343 | 29 |5.1302| 12 , 7 | 47 
3 41541970 1 | 20 | 61 | 30 |5.310| o | 24 | oi 
6 |3125| 3 | 12 | 40 3l |4.4583! 5 | 12 | 37 
7 15.1182: 3 | 17 | 64 | 32 146569| 4 1 15 | 49 
8 | 8759| 6 | 5 31 3 a522|l o [2 | 4 
- 9 1. 6700 7 8 | 37 | 34 48650| 6 | 16 | 所 
10 14.9536, 0 | 23 | 55 | 35 |5.s3s66| 1 1! 17 | a8 
11 {5.0060| 3 | 16 | eo | 30 [a6o08]l 10 1 4 | 
12 | 52701| o | ig 1 | 3 I23815| a | ir| 3 
13 |5.3772| 8 | 4 1 50 7 a8 la.876| 5 | 13 | 36 
14 |s.4849| 6 | 14 | 51 | 39 [Tass3| 9 | 18 | 3 
15 | 4.5960| o | 21 151 | 0 |5.1588| 6 | 13 | 34 
16 | 5.6645| 3 | 14 | | a |s.4s73l 5 | 1g | 100 
17 |6.07955| 7 | 12 [5s | 42 |3.9960! 5 | 11 | a 
18 13.21941 16 0 | 48 | 43 i43970| 8 | 6 | 83 
19 | 5.8076| 6 | 16 | 45 | 4 i4062| 2 | 13 | 55 
20 |4.7306| 0 | 15 | 52 | a5 [2.2905| 7 | 8 | 50 
21 146805| 9 | o [ao | a [47115| 4 | 10 1 45 
22 [ai272| 1 | 6o | 3 | 4 isl 1 s 1 
23 |2.6104| 0 | 17 | 47 | 48 | 5.3637| 3 fe 
24 |3.7174| 9 | 0o | 44 | 49 | 6.0771 | | | ?7 
25 |3.8946| 2 | 6 | 39 


49 
Ds = 2411, Xs 一 49. 204， 
i=1 


各 49 

2 区 一 2031, Sy zh = 8572, 

i=1 pp 

Da = 124879， Sz 一 2137， 

一 上 i=1 

Sr 一 12355， Sor 一 29216， 
i=1 ji 

Dy, = 1180. 30， Sry, 一 2717.51， 
+ 一 1 ， r=1 


9 
> 1zny 一 11292. 72, 
了 

由 此 得 


= D(a) = 662.000, 
网 1 的 ， 
{ss 一 Dj TT = Dz) 一 1753. 959, 
人 1 多 
ts = D2 一 > za = 6247. 959， 
49 人 1 49 49 
ly 一 ia 一 了 ai 一 = DE ( BE 一 一 918,143， 


ie] 1 一 1 一 上 


4 9 
fs 一 [a 一 了 > in 一 二 | >， za | ( Sx) 一 一 388. B57， 
『 IT 之 1 


人 1 49 ， 49 
ly = ls = Drora— (ra) >a) = 776.041, 
jel i=1 


bE 1 49 El 

by 一 Dy ay 一 = Dz)l yy,) = 一 6.433， 
1 一 上 1 一 1 1 一 
49 9 9 

ly = Drayi 一 二 Sra){ Dy) = 69.130， 
;=1 i=1 i=1 
生日 49 


EJ 
tsy 一 ao 一 二 | 了 17 Sy,) 一 245， 571. 
1 1 一 上 一 】 


(3) 计算 系数 矩阵 4 ,常数 项 矩阵 召 ,以 及 递 矩 阵 4-1， 


F49 0 0 0 
4 -~ 0 662.000 一 918.143 — 388.857 
0 工 0 一 918.143 1753.959 776.041 
Lo0 一 388.857 776.041 6247.95 
49 
2 - 224. 5196 
4 
， 69. 130 
p, | 245. 571 
二 0 0 0 
4-1 一 |0 0. 005515 0.002894 一 0.00001623| 
0 0. 002984 0.002122 一 0.00008345 
0 一 0.00001623 — 0.00008345 0. 0001694 
(4) 计算 回归 系数 和 回归 方程 
和 4. 582 
po lap 0 
bs 0. 1076 
b, 0. 0359 
由 此 得 回归 方程 


y= 4.582 + 0.1604Cz, — 5.286) + 0.1076(x, — 11.769) 
十 0.0359(z; 一 49. 204), 
即 3 一 0.7014 十 0.1604r; + 0.1076x; + 0.0359z,, 


15.3.3 ”回归 方程 的 显著 性 检验 
和 一 元 线性 回归 情形 类 似 , 对 于 给 定 的 观测 数据 ， 


LN (i = 1,2, ,nm), 
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总 可 以 按 最 小 二 科 原 理 配 一 个 线性 回归 方程 . 但 这 禅 配置 的 线性 
回归 方程 是 和 否 有 实际 意义 ,还 须 进行 统计 检验 . 
同一 元 线性 回归 的 情形 一 样 可 以 证 明 
(1) 总 的 离 着 平方 和 工 ,, 可 以 分 成 @ 与 U 两 部 分 
Ly =Q+U, (15. 32) 


其 中 二 20 一 3 
?一 】 


UU= Dy — 
i=] 


Q 一 Sy, 一 yi 
i 


(2 在 假设 


了 了 3 下 hs 1 bs 人 (15, 33) 
成 立时 ,Lyst7, 信 分 别 是 自由 度 /一 n 一 lf 一 pyfo 一 nn 一 
一 1 的 好 变量 ,并 月 忽 与 世相 互 独立 . 
(3) 在 假设 吾 , 成 立时 ,统计 量 : 


7 7 
本 

服从 自由 度 为 (p,n 一 p 一 1) 的 玉 分 布 . 这样, 我 们 可 按 下 述 步 又 进 
行 统计 检验 ; 

(1) 按 方差 分 析 表 15. 5 进行 计算 . 

表 _15:5 
来 源 平方 和 自由 度 均 方 FE 
加 内 | 路 一 Ni 一 Yip,B, Pp Uip ai; 


i | 


剩 休 | 昌 = Yi 一 y= Ly—U [np—l | Wtn-p—l) 


(2) 根据 自由 度 tp,n 一 记 一 1), 显 著 性 水 平 a 查 F 分 布 表 ,得 
相应 欧 临 界 值 F., 若 下 半 F, 则 否定 原 假 设 酝 ,认为 3 与 ,Xs 
,Tp 之 间 存 在 线性 关系 , 若 严 志 F, 则 接受 原 假设 万,, 认 为 y 与 
rz 之 间 不 存在 线性 关系 . 

例 15. 3.2 在 例 15. 3.1 中 , 据 表 15. 4 订 以 求 得 


49 | 下 
Ly, — > — 二 YY] = 44,905, 
=1 i=] 


了 
蕊 一 人 5 有 一 0.1604 xX (~ 6.433) + 0.1076 x 69.130 
j=1 


十 0.0359 X 245. 571 = 15. 221， 
Q =L,— UU = 44.905— 15.221 = 29. 684, 
fr 汪 3， 
fo=49—3—1= 45, 


U/f, =5.074, 
Q/ fo =0. 660, 
、， 5,.074 
一 让 60 一 7. 69. 


若 给 定 一 0.01, 由 自由 度 人 3,45) 查 下 分 布 表 得 oo (3,45) 
一 4. 25， 

现在 下 一 7.69>Fuouf3,45) 一 4.25. 检验 结果 表明 例 15.3. 1 
中 的 J 与 zi ,xs;X; 之 间 存 在 线性 关系 ， 


15. 3.4 ”用 回归 方程 进行 预测 
在 前 面 ,我 们 建立 了 多 元 线性 回归 方程 ， 
y= 二 Bi 十 Bxs 十 :十 BXp. 


在 对 它 进行 了 统计 检验 之 后 , 便 能 够 利用 它 进行 预测 . 
与 一 元 线性 回归 时 类 似 , 用 
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_/ Q 
Ss = Nii 


近似 地 表示 y 偏离 回归 平面 的 误差 .于 是 ,可 以 预测 在 各 变量 
zzy 取 固 定 值 时 的 观测 值 ,将 以 1 一 “ 的 概率 落 在 下 述 区 
间 内 : 
(3% 一 ZaSeyye + Z$S5), 


15. 3.5 偏 回归 系数 的 显著 性 检验 


在 (15. 3. 9) 中 介绍 了 回归 方程 的 显著 性 检验 ,利用 (15. 34) 计 
算 所 ,车 玉 之 F., 则 认为 回归 效果 显著 . 但 此 时 并 不 意味 着 所 引入 
的 每 个 自 变量 都 在 回归 方程 中 起 着 重要 作用 ,为 此 还 需要 检验 
各 个 自 变 量 对 y 是 否 有 显著 作用 . 

定义 15. 3.3 称 岂 = 华为， 对 z 的 偏 回归 平方 和 . 其 中 是 
矩阵 工 的 逆 短 阵 上 -! 中 对 角 线 上 第 ;个 元 素 . 统计 时 

FF VW, 
i 总 /Ca 一 疡 一 1) 
在 责 , 记 一 0 成 立时 ,服从 自由 刻 为 (La 一 p 一 1 的 天 分 布 "对 于 给 
定 显著 性 水 平 w, 查 自由 度 为 (il,n 一 z 一 1) 的 王 表 得 临界 值 F.. 车 
.>F., 则 说 明 第 :个 自 变量 x; 对 y 影响 显著 ,这 变量 应 保留 在 回 
归 方 程 中 . 若 经 检验 是 不 显著 的 变量 , 则 可 根据 实际 情况 把 偏 回归 
平方 和 最 小 的 那个 变量 去 掉 . 比如 该 变量 是 x, 由 回归 方程 中 去 
着 一 个 变量 后 ,缺少 一 个 变量 x 的 新 闻 归 方程 的 系数 &” 仍 和 
要 重新 计算 ,可 用 公式 
Br = pC— 之 2 全 天 及 


其 中 ci 是 工 -: 中 第 必 , 力 个 元 素 5 是 工 -: 中 第 (六 门 个 元 素 , 从 而 得 
到 新 回归 方程 . | 
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15.4 逐步 回归 


15. 4.1 逐步 回归 的 基本 思想 

在 实际 问题 中 ,可 能 有 许多 自 变量 对 因 变 量 y 有 或 大 或 小 的 
影响 . 考虑 到 随机 误差 的 存在 ,那些 对 因 变 量 影响 较 小 的 自 变量 在 
回归 方程 中 起 的 作用 可 能 是 不 真实 的 ,或 者 只 起 到 分 散 注 意 力 的 
作用 . 为 使 回归 方程 能 够 真实 地 反映 自 变量 与 应 变量 之 间 的 关系 ， 
应 该 在 最 终 选 定 的 回归 方程 中 只 包含 那些 对 因 变 量 有 显著 影响 的 
自 变量 . 逐步 回归 (stepwrse regresson) 方 法 就 是 诸多 选择 变量 方 
法 中 效果 较 好 旦 计算 量 不 大 的 一 种 方法 ,有 着 广泛 的 应 用 . 

逐步 回归 的 基本 思想 是 从 众多 的 自 变量 中 ,根据 这 些 变 量 各 
自 对 回归 方程 影响 的 太 小 ,逐次 地 选 入 到 回归 方程 中 ,在 这 个 过 程 
中 ,先前 被 选 人 回归 方程 的 变量 ,有 些 由 于 其 后 新 引 和 人 的 变量 而 失 
去 了 重要 性 ,这 时 就 应 从 回归 方程 中 将 它们 淘汰 掉 , 持续 上 述 过 
程 ,直到 回归 方程 不 再 有 可 淘汰 的 变量 ,也 没有 表 可 引入 的 变量 时 
为 止 . 最 后 所 得 的 结果 就 基 选 定 的 回归 方程 . 

现在 的 主要 问题 是 

(1) 如 何 度量 某 个 变量 在 回归 方程 中 作出 的 贡献 ; 

(2) 恕 何 检验 某 个 变量 的 作用 是 耕 是 显著 的 . 

由 (15. 32) 知 


L,, =@ 十 U 
即 总 的 离 差 平方 和 了 等 于 回归 平方 和 忌 与 剩余 平方 和 忽 之 和 ， 
对 于 给 定 的 试验 数据 , 工 ,是 固定 的 , 由 p 个 变量 的 回归 方程 给 出 
的 回归 于 方 和 为 : 
一 5B, =L,—Q (15. 35) 
已 见 (15. 31). 如 车 从 这 p 个 变量 中 去 挤 一 个 变量 ,重新 计算 余 
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下 的 jp 一 1 个 变量 的 回归 系数 , 记 作 如 ,然后 算出 相应 的 回 妇 平 
方 各 
Uo Sp B= LL,—Q (15. 36) 


了 
这 样 一 来 ,就 可 以 求 出 某 个 变量 六 在 个 变量 的 回归 方程 中 
作出 欧 贡 献 , 记 作 Y，, 则 有 
六 一 一 一 一 人 《15, 37) 
称 V; 为 偏 回归 平方 和 . 可 以 证 明 
pp 


,一 一 (15, 38) 
FW 


Vi 僵 大 , 则 相应 的 x; 剑 重 要 , 式 中 的 是 对 应 于 = 的 回归 系数 ， 

< 是 正规 方程 系数 矩阵 二 的 遂 矩 阵 [7' 主 对 角 线 上 的 第 i 个 元 素 . 
显然 , 偏 回归 平方 和 V, 愈 大 的 如, 对 y 有 重要 的 影响 . 但 是 

大 到 什么 程度 才能 算 作 是 显著 的 呢 ? 这 就 需要 进行 统计 检验 . 
统计 量 


上 Vi 
QQ/G— pO—1) 
在 B= 二 0 的 假设 下 ,服从 自由 度 为 (1,n 一 一 1) 的 下 分 布 .利用 所 
可 以 检验 zx; 的 显著 性 . 如 果 下 之 FF., 则 x; 的 作用 不 显著 ,可 以 从 回 
归 方 程 中 剔除 ;如 果 fF 宕 F,; 则 <x; 不 应 旭 除 . 是 否 蓟 除 一 个 变量 ， 
要 看 它 对 回归 方程 的 贡献 是 否 显 著 . 


15. 4. 2 ”逐步 回归 的 计算 步 又 


计算 可 以 分 成 以 下 儿 个 步 又 . 
砂 又 1: 计算 均值 ,标准 差 , 离 差 矩阵 以 及 相关 和 皇 阵 : 
《1) 求 均值 
ce 12 sp 《15. 40) 


下 (15. 39) 
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j= Ty, 
点 一 上 
《2) 求 离 差 矩阵 ,其 元 素 sj 为: 
Sy = sk — Dre — Try — Ri = 1 p) 
更 二 ] 


(15. 41 ) 
为 了 后 续 计 算 , 在 离 营 矩阵 上 增加 一 个 新 列 , 即 p 十 1 列 , 由 下 
面 公 式 给 出 


3iy 一 > (Ti — Ty OV 2, p) 


上 一 ] 
(15, 42) 
根据 离 差 算 阵 的 对 角 线 元 素 , 利 用 下 述 公 式 可 以 算 各 个 标 
准 差 : 
Ys Cn — 1), (15. 43) 
可 得 到 表 15. 6. 
表 15.6 
I Ts ED Tp y( 第 pp 寺 1 列 ) 
TT a " a 
均值 计 Dr TL Dx 让 Dy 
标准 关 | 
一 | 
7 
1 B11 Sh2 Flp Is 
这 32 S22 jap 
se ; 
Tp sp] | pa “a Spp spy 
Syy 


(3) 为 计算 方便 起 见 , 作 代 换 
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人 一 ls20r sp 一 1,21%% py) 


(15. 44) 
将 户 行 ,p 十 1 列 的 扩展 离 差 矩阵 变换 为 (15. 44) 相 关系 数 矩 阵 . 逐 
步 计 算 均 以 此 矩阵 为 依据 . 

步 又 2: 逐步 计算 

假设 已 计算 到 了 ! 步 (包括 第 /二 0 步 ) ,其 对 应 的 家 关系 数 矩 
阵 元 素 用 上 标 ! 标记 为 7 人 GG 一 1,2.001p;j 二 1,2,…, 思 ;y). 开始 
下 述 计 算 : 

(1) 求 出 每 一 __ 个 变量 对 回归 方程 的 页 献 

如 果 在 第 /十 1 步 要 从 回归 方程 中 淘汰 变量 二, 可 以 证 明 损失 
的 贡献 为 

VD = (rn fr (15. 45) 

如 果 在 第 7 十 1 步 , 将 某 个 变量 x 引入 到 回归 方程 中 ,可 以 证 

明 增 加 的 贡献 为 
PHD = (rr (15. 46》 

由 公式 (15. 45)~《15. 46) 看 出 ,由 相关 第 阵 第 十 1 列 与 相应 
对 骨 线 元 素 求 出 的 贡献 (x) /x 外, 既 可 看 成 是 已 选 变 量 被 淘汰 
后 损失 的 贡献 ,也 可 看 成 是 新 引入 变量 所 增加 的 贡献 . 

(2) 在 诸 被 引入 的 变量 中 , 求 出 可 以 淘汰 的 变量 . 

为 此 ,在 各 已 引入 的 变量 中 求 出 具有 最 小 贡献 的 那 一 个 变量 ， 
然后 对 它 进 行 统计 检验 ,确认 这 个 候选 淘汰 对 象 是 否 达 到 被 淘汰 
的 标准 . 

计算 贡献 最 小 的 变量 : 

VE = min {VA |i i 是 各 已 引入 变量 的 编号 } (15. 47) 
计算 相应 的 五 值 : 


= ar DPE/G 《15. 48) 
其 中 二 进入 步 计 算 
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2 是 观测 次 数 
r 是 欲 在 第 /十 1 步 对 已 引入 的 ~ 个 自 变 量 中 剔除 某 个 自 变 
量 , 如 mr 人 2 是 第 ! 步 的 残 差 平方 和 ,全 2 一 * 吕 可 以 利用 干 述 公 式 
逐步 算出 ， 
=—1 《15.49》 
GD = — PE. 
如 果 对 计算 秆 下 有 :F 志 下, 则 将 变量 rz 从 回归 方程 中 淘 洒 
出 去 . 然后 开始 消去 运算 . 
《3) 如 果 对 计算 值 下 有 ;于 F, 则 x 不 应 从 回归 中 殊 除 ,应 
考虑 从 未 引入 的 各 变量 中 选 出 贡献 最 大 的 变量 ,计算 ， 
VD 一 max {V1i 是 各 未 选 变 量 的 编号 ;y (15. 50) 
求 相应 的 下 值 ， 
F= mr OVEOD ~ VD) (15.51) 
如 果 所 > 下, 则 把 x 引进 到 回归 方程 中 ,然后 开始 消 江 运算 . 如 果 
之 FF 表示 zi 不 能 被 引入 回归 方程 . 
(4) 消去 运算 , 对 需要 淘汰 或 引进 的 变量 zs 进行 一 次 消去 运 
算 , 即 按 下 述 公式 对 相关 系数 符 阵 进行 计算 


rE /re (=k,j A 上), 
i Hy 站 昌 
re 一 了 ri ri /ri (Jj， (15.52) 
l/r (i =k,j = ££)， 
一 7 和 Ar 让 = ). 


然后 重复 (15.47) 一 {15. 52) 直 至 在 嫂 不 能 剔除 ,也 无 法 再 被 
重新 引入 下 , 偿 步 计算 过 程 可 以 结束 . 转 入 步骤 3 的 计算 . 

步 又 3 求 回归 方程 及 相应 的 量 . 

设 在 / 步 后 停止 逐步 计算 ,这 时 引进 了 r 个 变量 ,对 各 引入 变 
量 zx 按 下 面 公式 计算 回归 系数 ; 


本 
上 pl pp 2 
br = ry spy/ NS = ry 
i 
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常数 项 。 好 =y 一 24 到 


回归 平方 和 U%==sw 一 Q%. 


复 相关 系数 R=A/I -ec 一 VI 一 史 ， 


其 中 复 相 关系 数 丸 与 一 元 线 竹 回 归 中 (15. 2.2) 的 含义 相 
似 , 表 示 因 变量 y 对 于 自 变量 zx,zxs，… ,xs 的 总 体 线性 相关 性 , 它 
的 值 在 0 和 1 之 间 . 当 R=1 时 ,表示 与 庄 自 恋 量 之 间 有 严格 的 线 
性 关系 ;而 当 RR 一 0 时 ,家 示 y 与 诸 自 变量 之 间 完 全 没有 线性 关系 . 
当 R 接 近 1 时 (比如 及 实 0. 85) ,说 明 用 诸 自 变量 的 线性 函数 去 刻 
曾 因 变量 是 适宜 的 ;反之 , 当 民 接近 于 零 时 ,说 明 用 自 变 量 的 线性 
函数 去 刻画 因 变 量 是 不 适宜 的 ,应 该 考虑 非 线性 回归 方程 ,或 引入 
新 的 变量 . 


15. 5 回归 系数 的 有 偏 估计 一 一 岭 回 归 


在 线性 回归 模型 ( 见 式 15. 16》 
YF = XB+s 
之 下 ,利用 最 小 二 乘 原理 ,可 以 得 到 有 的 最 小 二 乘 估计 
五 一 【等 T 于 ?一 于 TY 
可 以 证 明 最 小 二 乘 估 计 为 方差 最 小 的 线性 无 偏 估计 ,在 正 态 
分 布下 是 方差 最 小 无 偏 估计 , 也 就 是 说 , 当 限 制 在 元 偏 估 计 类 中 
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时 ,最 小 二 乘 侍 计 有 优良 性 质 . 
妆 一 方面 ,在 处 理 回 归 分 析 问 题 中 不 断 积累 的 经 验 显示 ,在 某 
些 情 况 下 ,利用 最 小 二 乘 估 计 忆 ,结果 并 不 理想 ,* 究 其 原因 知 与 设 
计算 阵 于 的 特性 有 关 . 当 系 数 抵 阵 4 一 站 星 现 “病态 ”, 即 4 的 
行列 式 14| 很 小 (接近 于 零 ) 时 ,最 小 二 乘 估计 的 性 能 变 得 很 坏 . 
可 以 证 明 ,在 线 忻 回归 模型 


Y= XB+e 《15. 53) 
以 及 
E(E)=0 (15. 54) 
var(e) 一 227( 了 是 单位 第 阵 》 
的 假定 之 下 ,有 
声 
BC5 一 Bl = > (15. 55》 
re] 
A 1 
vart 肌 一 B= 202) 训 (15. 56) 
i=[ ’ 


其 中 大 是 系数 矩阵 4 一 基 节 的 特征 根 . 

由 人 15,55)~(15, 56) 看 出 ; 当 有 4 呈现 “ 病 坊 * 时 ,EdI5 一 Bl*) 
与 var( 四 一 各 *} 的 值 者 很 大 ,这 瑚 明 上 48 与 8 之 闻 的 偏差 的 变化 很 
大 ,而 且 不 稳定 .因此 ,在 矩阵 A" 病态” 的 情况 下 ,不 能 认为 最 小 二 
逆 佑 计 上 是 旭 的 良好 稍 计 了 了 . 

当 4 二 于 年 是 奇异 算 阵 时 ( 即 |4| 一 0), 针 的 列 向 量 线性 相 
关 . 如 果 4 接近 奇异 , 即 141| 接 近 零 ,那么 互 的 列 向量 接 近 线 性 相 
鞠 , 也 就 是 说 ,在 自 变量 之 间 存 在 近似 线性 关系 ,通常 把 这 种 近似 
线性 关系 称 为 复 共 线 关系 , 当 自 变量 之 间 存 在 复 共 线 时 ,最 小 二 乘 
合计 会 变 * 坏 ”， 

为 了 克服 最 小 二 篆 佑 计 的 上 述 缺 点 ,相继 提出 了 一 些 新 的 情 
计 方 法 . 岭 估计 就 是 其 中 的 一 种 . 这 些 估 计 从 形式 上 看 仍然 是 线性 
的 ,但 不 再 保持 无 往 性 ,通常 称 它们 为 线性 有 偏 估计 . 它们 在 理论 
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上 或 实用 上 都 是 有 益 的 ,本 节 讨 论 岭 回归 估计 . 

在 下 面 竟 讨论 中 ,我 们 将 以 线性 回归 寞 型 (15. 532 一 (15,. 56) 
为 基础 , 还 假定 矩阵 五 已 经 是 中 心 化 ,标准 化 的 ,并 且 中 心 化 和 标 
准 化 了 的 下 和 A 二 XX 有 具有 上 述 “ 病 态 ” 或 复 共 线 特征 . 


15.$.1 蛤 回归 的 定义 和 性 质 


岭 回归 (ridge regresson) 是 AE Hoeil 在 1962 年 提出 来 的 ,其 
后 由 及 W Kennard 系统 发 展 起 来 的 一 种 改进 的 最 小 二 乘 估计 
方法 . 

定 忒 15.5.1 设 0 所 oo, 称 Bb(8) 一 CBC(8) ,Db Ch), ， 
bhR))T = (CATE XYAWX'Y 

海上 BB 的 岭 回 归 估 计 (ridge regresson), 其 中 

A 二 XIX 是 系数 矩阵 ， 
= (4 + I)-! 

下 面 说 明 岭 回归 估计 的 性 质 . 

由 于 & 的 特征 根 是 为 ,各 ;… ,入 ;所 以 A 十 刀 的 特征 根 是 大 十 
开罗 十 下 十 二 如 果 汪 的 最 小 特征 根 % 很 接近 于 零 ,那么 4 十 
由 于 kL 过 0) 是 常数 接近 和 零 的 程度 就 会 小 综 ， 故 有 理由 希望 pCk) 
比 上 5 性 能 要 好 些 . 


实际 上 ,我 们 有 : 
HO ECB) — Bl:) 
一 rk) 十 rtk) 《15. 57) 
其 中 
< 而 
rn) 一 “2 CA 十 上)? 
raltk) =— kPaA + EAI) :BP {15. 58) 


此 处 ri 十) 是 各 回归 系数 Pp “rp, 的 估计 bitR) btk), 
,5s( 瑟 ) 的 方差 的 平方 和 ,rs() 是 bC&) 的 有 偏 性 带 来 的 总 偏差 . 
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由 式 (15. 58) 可 以 看 出 ,在 k 守 0 时 ,rk) 是 一 个 下 降 的 消 数 ， 
且 可 以 证 明 (在 之 0 时 是 一 - 
个 上 升 的 函数 ,并 且 下 一 0 时 ， 
ri 有 一 0. 它们 的 函数 图 形 大 致 如 
图 15. 2 孙 , 从 图 中 看 出 ,存在 某 个 


&m0, 有 

HCO) < HOO) 【15. 589) © ER 
即 图 15.2 
ECBCE) 一 月 < ENE — Bl’) 


《15. 8607 
也 就 是 说 ,在 某 个 之 下 的 岭 回 妇 估 计 名 () 的 均 方 差 ,要 比 
最 小 二 乘 估计 生 的 均 方 差 来 得 小 . 
但 是 ,上 述 性 质 只 指出 沦 在 着 这 样 的 * 值 , 却 并 未 给 出 如 何 计 
算 &. 实际 上 , 庆 的 最 优 值 依赖 于 模型 的 未 知 参 数 B 和 o*. 在 实际 应 
用 时 ,& 信 是 不 能 事先 指出 , 而 是 必须 通过 样本 来 确定 的 ,从 这 个 
意义 上 看 ,5 有 实质 上 是 一 个 非 线性 估计 ， 


15. 5. 2 ” 岭 回 归 估 计 的 计算 


如 前 所 述 ,我 们 可 以 用 岭 回归 估计 的 定义: 
bE) = (XT + IV- XY 
来 计算 8) ,但 是 对 于 不 同 的 到 值 求 5(&) ,每 一 次 都 要 计算 一 个 
逆 答 阵 , 计 算 量 太 大 ,下 述 的 计算 方法 可 以 威 少 计 算 基 . 
方法 15. 5.2 计算 步骤 ， 


(1) 构造 答 阵 UU 
入 [过 Y | 
有 YY XX 
(2) 求 特征 方程 
AU = AA 
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的 解 4 与 A. 所 以 4 的 行 向 量 是 上 的 特征 向 量 ,由 此 求 得 p 十 1 阶 
的 正 交 和 矩阵 4. 
| “" Qi, P+] 
4 上 网 
pl +1 


《3) 给 定 k 的 值 . 
(4) 利用 下 述 公式 计算 岭 西 归 估 计 
- {Dae ‘asf G+ A)) 
A 
4 二 十 天 | 
了 一 了 了 .31y 轧 

(5) 对 不 同 的 让 值 恒 复 (3),(4) 步 ， 直到 可 面 出 岭 迹 曲线 
六 (有 来. 

《6) 作 岭 迹 分 析 , 求 出 最 优 刀 值 ,最 后 确定 在 最 优 训 值 下 的 岭 
回归 估计 5(&6). 


15. 5.3 上 蛤 迹 分 析 与 最 优 大 值 的 选取 


在 岭 回归 中 , 岭 迹 分 析 是 了 解 各 自 变量 的 作用 及 其 相互 关系 
的 重要 途径 . 下 面 用 例子 说 明 . 

例 15. 5.3 在 图 15. 3(a) 中 ,8,60) 二 & 守 0 且 值 比较 大 , 从 古典 
回归 分 析 观 点 看 ,x; 对 Y 应 是 有 重 闽 影响 的 因素 . 但 5,(#) 的 图 形 ， 
当头 从 0 开始 增加 ,显著 地 下 降 ,迅速 地 趟 向 0, 因 而 失去 预报 的 能 
力 ,图 形 旦 现 出 相当 的 不 稳定 . 从 擒 回归 的 观点 看 ,rr 对 Y 不 起 重 
要 作 有 昨 ,其 至 可 以 去 掉 这 个 变量 . 

例 15. 5.4 在 图 15, 3 人 b) 中 ,情形 正好 与 情形 人 a) 相 上 友 . 开始 
56.50)>0, 但 值 很 小 . 从 古典 回归 分 析 看 ,zx; 对 了 的 作用 不 大 , 随 着 
不 的 增 大 , 声 人 RD) 变 为 负 , 从 崔 回 归 观 点 看 ,* 对 Y 有 显著 影响 ， 
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例 15. 5.5 在 图 15. 3(c) 中 ,从 古典 同 归 分 析 看 ,六 是 对 Y 有 
“ 正 ?影响 的 显著 因素 ;但 从 崔 回 归 分 析 看 ,r 对 Y 则 是 有 " 负 ” 影 
响 的 因素 . 

例 15. 5.6 在 图 15.3(d) 中 ,分 别 看 ,系数 658) 和 5s《) 都 很 
不 稳定 ,但 其 和 大 体 稳 定 , 这 表明 自 变 量 mm 和 x; 之 间 存 在 着 相当 
大 的 相关 性 ,从 变量 选择 观点 看 ,二 着 中 只 保存 一 个 就 足够 了 . 

例 15. 5.7 在 图 15. 3 人 te 中 , 岭 迹 表现 京 乱 ,很 不 稳定 ,这 时 对 
最 小 二 乘 估计 的 性 能 应 提出 疑问 ， 

在 15. 3 人 ?图 中 ,与 情形 e 相反 ,最 小 二 乘 估 计 性 能 良好 . 


bY 让 
让 记 
tu fb》 
六 《在 ) 让 二) 
bkY 
二 人 人) 上 
{ey (dy 
6 .Ck) pk) 
中 上 
Cey fy 
图 15.3 
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最 后 ,说 明 最 优 天 值 的 选择 方法 . 由 于 最 优 值 和 未 知 模型 参 
数 卢 和 史 有 关 , 国 此 在 实际 应 用 时 往往 最 煞 要 用 样本 决定 . 还 未 能 
从 理论 上 找到 一 个 从 认 的 方法 ,下 面 介 绍 一 些 有 影响 的 方法 . 

方法 15. 5. 8 岭 迹 法 

最 优 下 值 的 选择 应 使 各 回 妇 系数 的 估计 值 都 能 达到 稳定 (网 
图 15. 3(f 中 右 端 部 分 ) ,并 且 没 有 不 合理 的 符号 , 残 差 平方 和 也 不 
会 增加 得 太史 . 

例如 在 图 15.4 中 ,当下 取 二 时 ,各 回归 系数 都 能 到 达 稳 定 . 


bk) 


15-4 


方法 15. 5.9 选择 劾 使 均 方 误 莽 态 (8) 一 E08) 一 让 :最 小 . 
HC) = D3 去 下 + EELCXTEY + ET] iB 
首先 用 B 和 0: 的 最 小 汪 乘 估计 训 和 ew 来 代替 B 和 o?. 对 相同 的 天 
值 计算 瑟 导 ), 描 出 五 (%) 曲 线 , 选 择 使 吾 以 ) 达 到 最 小 的 即 为 
所 求 . 

方法 15. 5. 10 诀 定 上 值 的 其 它 若 干 方法 . 

设 天 矩阵 已 中 心 化 ,为 正 交 和 抢 阵 使 

POXTXYPT = A = diag (hh sd,r1) 
称 a 二 PB 为 典 则 参数 , 记 Z 一 XYP', 则 原 模型 变形 为 
。272 。 


一 ZEG 十 后 
a 的 最 小 二 乘 估计 和 崔 估 计 分 别 为 
4 一 《ZITZ)-IZTY 一 A-IPYY™Y. 
oR) 一 【(ZTZ) 十 开门 一 PXT = (A RID PX™Y. 
下 面 的 四 种 求 点 值 的 公式 都 是 通过 “ 表示 的 ， 


k= 22Atmax 好 . | (15. 61) 
疡 十 1 
k= (p+ Def DO Ne. (15. 62) 
# 一 1 
_ 户 十 1 , 
k= (p+ De 2 %. (15. 63) 


当 @ = jle 虹 一 2 之 站 六 六 0 时 , 选 使 aC 
《15. 64) 
prt 

当 Q = le — > 顽 达 0 时 , 选 = 0 

例 15. 5.11 记 S= 开 下 ,由 于 天 已 经 中 心 化 和 标准 化 ,故人 
为 相关 和 矩阵 ,其 特征 根 为 

3. 692, 1, 542, 1. 293, 1. 046，0. 972, 0. 659, 0, 357, 0, 220， 
0. 152,0. 068, 

最 后 一 个 特征 根 为 0.068, 很 接近 于 9. 通常 最 小 二 乘 估计 不 会 
给 出 良好 结果 , 现 用 上 岭 回 妇 分 析 , 对 15 个 上 * 值 算出 &(8), 描 出 岭 
迹 . 如 图 15. 5 和 图 15. 6 所 示 . 

从 图 15. 5 看 ,最 小 二 乘 估 计 稳 定性 很 差 , 这 上 反映 在 当 * 与 0 路 
有 偏差 时 ,68.08) 与 (0) 就 有 较 太 差距 ,特别 是 15; | 与 15 | 下 降 最 
多 . 因素 zs 的 回归 系数 的 最 小 二 蒋 佑 计 访 一 名 0) 为 负 回 归 系 数 中 
绝对 值 最 大 的 .但 当 训 增 大 人 时 ,6s(%) 迅 速 上 升 且 变 为 正 的 ,与 此 相 
反 , 对 因素 xs,8; 为 正 且 绝对 值 最 太 , 但 当 上 增 大 时 ,bs (48) 迅速 下 
降 . 再 考虑 到 xzs 的 相关 系数 达到 0. 84;, 因 此 这 两 个 因 索 可 近似 
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图 15.5 
瞪 入 510 个 因素 ) 


图 15.6 
岭 迹 《去掉 因素 zs,rr)》 


地 合并 成 -个 因素 ,再 看 x;, 它 的 回归 系数 估计 值 5, 二 56;(0) 绝 对 
值 偏 高 ; 当 上 增 大 时 ,561C&) 很 快 接近 于 0, 这 意味 着 z; 实 际 上 对 YY 
无 多 大 作用 . 从 整体 上 看 , 当 达到 0.2--0. 3 的 范围 时 ,各 个 btk) 
已 大 体 上 趋 于 稳定 . 因此 在 这 区 间 上 取 一 个 在 值 做 岭 回 归 . 从 岭 回 
归 观 点 看 ,本 例 中 565.8) 和 5;CE) 当 上 从 0 增 加 时 ,很 快 趋 于 0, 于 是 
它们 很 自然 地 应 被 舍 去 . 去 掉 xz 后 . 重 作 上 岭 回 妇 分 析 , 结 困 如 
图 (15. 6) 所 示 , 基本 稳定 5 即 图 形 波动 不 大 ) ,所 以 去 掉 x; 和 x; 是 
合理 的 . 
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16 方差 分 析 
16.1 引言 


方差 分 析 (analysis of variance) 是 分 析 试 验 数据 的 一 种 方法 . 
对 于 抽样 测 得 的 实验 数据 ,由 于 观测 条 件 不 同 ( 即 同一 因素 的 不 同 
水 平 或 不 同 因素 的 各 个 水 平 ) 会 引起 试验 结果 有 所 不 同 ; 另 一 方面 
由 于 各 种 随机 因素 的 干扰 ;实验 结果 也 会 有 所 不 同 , 由 观测 条 件 不 
同 所 引起 的 实验 结果 的 差异 是 系统 性 的 ,而 随机 因素 引起 的 差异 
是 偶然 性 的 . 在 一 个 试验 中 ,各 种 因素 或 称 因 子 (factors) 综 合 在 一 
起 ,它们 互相 制约 ,互相 依存 , 方差 分 析 的 目的 在 于 从 实验 数据 中 
分 析出 各 个 因素 的 影响 及 各 个 因素 间 揭 交互 影响 ,以 确定 各 个 因 
素 作用 的 大 小 ,从 而 把 由 于 观测 条 件 不 同 而 引起 实验 结果 的 不 同 
与 由 于 随机 因素 而 引起 实验 结果 的 差异 用 数量 的 形式 区 别 开 来 ， 
以 确定 在 试验 中 有 没有 系统 性 的 因素 ( 即 不 同 的 因素 或 同一 因素 
的 各 个 不 同 水 平 ?在 起 作用 . 

方差 分 析 在 化 工 、 痛 金 ,农业 ,地 质 . 石 油 勘探 ,以 及 卫星 图 象 
分 析 等 许多 领域 中 都 获得 了 应 用 . 本 章 和 将 着 重 介 绍 单 因子 和 双 因 
子 方差 分 析 . 


16. 2 单 因 子 方差 分 析 


首先 讨论 单 因 子 方差 分 析 (one-way analysis of variance) 的 
情况 . 在 一 个 试验 中 ,影响 试验 的 因素 往往 很 多 ,但 是 如 果 其 它 因 
素 能 够 控制 在 一 定 范 围 之 内 ,为 了 研究 方便 ,可 以 认为 这 时 只 有 一 
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个 因素 在 变化 . 仅仅 分 析 这 一 个 因素 对 试验 的 影响 ,这 就 是 单 因 子 
方差 分 析 . 

在 试验 中 ,为 了 评价 试验 的 性 质 需 要 进行 多 次 测量 ,我 们 把 测 
量 的 结果 称 为 性 能 指标 ,或 简称 为 指标 . 在 试验 中 影响 指标 的 因素 
称 为 国 子 (facfor) , 国 子 所 处 的 状态 ,所 取 的 等 级 称 为 因子 水 平 . 例 
如 ,我 们 要 研究 某 化 工 产品 的 工艺 条 件 ,考虑 温度 对 试验 的 影响 ， 
这 时 温度 就 是 因子 ,如 果 让 温度 取 值 为 50" ,60",70",80" ,那么 这 些 
温度 等 级 就 是 因子 水 平 (factor level). 


16. 2. 1 试验 次 数 相等 的 方差 分 析 


假定 因子 4 有 m 个 水 平 .分 别 记 为 4 ,4 4。 在 每 一 种 
水 平 下 ,做 点 次 试验 ,在 每 次 试验 后 可 得 -试验 值 , 记 和 做 zj,; 它 表 
示 在 第 :个 水 平 下 的 第 了 个 试验 值 总 一 1 ,237 一 1 2 
结果 用 表 16. 1 表示 . 


表 16.1 


吧 Tn Tome Tm Tm rm 


为 了 考察 因子 4 对 试验 结果 是 否 有 显著 的 影响 ,我 们 把 因子 
如 的 7H 个 水 平 三 1 sss 看 成 是 m 个 正 态 总 体 , 而 Ti 一 ]， 
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“… 必 为 取 自 第 i 个 总 体 的 第 j 个 样本 ,i 二 1,…,m. 因此 可 设 XX,~ 
Nags oo) i112, mi= 1 2 

可 以 认为 4; 二 十 sss 是 因子 4 的 第 ;个 水 平 4 所 引起 的 闫 
异 . 因此 检验 因子 4 的 各 水 平 之 间 是 否 有 显著 的 差异 ,相当 于 做 
下 列 检 验 : 

Hous 4 一 ae 一 人 一 Go 一 《16. 1 ) 

或 者 相当 于 做 检验 : 瑟 ， :Ete 0. 

如 何 把 由 于 因子 水 平 的 不 同 而 造成 结果 的 差异 与 由 于 随机 因 
素 的 影响 而 造成 结果 的 差异 两 者 从 数量 上 区 分 开 来 就 要 用 到 下 面 
的 平方 和 分 解 公 式 . 

公式 16.2.1 平方 和 分 解 公式 {decomposition formalae of 
sum of square) 总 的 离 莽 平方 和 Sz(total sum of squares) 可 以 进 
行 分 解 ， 


Sa. 一 pe — zx) = kD CE 一 于)2， 
7 一 1 1 一 上 


Sr 称 为 总 离 差 平方 和 , 它 是 所 有 观察 值 x 与 其 总 平均 值 

之 差 的 平方 和 ,是 描述 全 部 数据 离散 程度 的 数量 指标 . 由 前 述 2 

是 服从 正 态 分 布 的 随机 量 , 当 (16.1) Ho 成 立时 ,zj 是 独立 同 分 
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S SS 2 (x 一 ZY} 
布 , 同 正 态 分 布 的 随机 量 , 可 以 证 明堂 = > 全 二 ;一 一 是 服 
认 自 由 度 记 二 mk 一 1 的 允 分 布 . 
9。 一 2 2 (zi 一 二)? 是 观察 值 与 组 内 平均 信 z, 之 差 的 平方 
种 . 称 为 组 内 平方 和 或 误差 平方 和 . 它 反 上 映 了 组 内 (在 同一 水 平 之 
下 ) 样本 的 随机 波动 . 注意 到 5, 是 非 负 的 二 次 型 ,并 且 在 mk 个 平 
方 和 中 有 mm 个 约束 条 件 袜 (mr 一 区) 一 04 二 12 所 以 


了 (Ca 一 zi) 的 自由 度 让 二 mm 一 mm. 


?一 1 j=1 


SG 一 zf 是 组 内 平均 值 z 与 总 平均 值 之 差 的 平方 


和 和 ， 称 为 组 间 平 方 和 ， 它 在 一 定 程度 上 反映 了 因子 各 个 水 平 不 同 而 
引起 的 差异 . 注意 到 sa 是 非 负 的 二 次 型 ,有 六 个 平方 和 相 加 ,而 且 


有 一 个 约束 条 件 ， De. 所 以 5 的 自由 度 =m 一 1. 


定理 16. 2.2 平方 和 分 解 定理 
设 包 服从 自由 度 为 a 的 央 分 布 ,又 
已 十 名 十 … 十 名: 一 旭 
其 中 区 6G 一 1 2 有 ) 是 秩 为 (二 1,24… 此) 的 非 负 二 次 型 , 则 
入 一 1 2 人 光 相 互 独立 ,上 且 分 别 服从 和 由 度 为 方 人 一 1 2 ) 
的 入 分 布 的 充 要 条 件 是 
An 十 疡 十 机 二 f= 
注意 到 平方 和 分解 公 式 16.2.1 在 (16, 1) Hw 为 真 的 假定 下 
S77G 人 一 拉 ( 开 一 1) 96,Ssy 是 非 负 二 次 型 ,其 牧 分 别 为 m4 一 
1 sh 一 ] ,四 于 Cm 一 6) 十 黄 一 1 二 一 二 即 所 一 了/ 十 f4, 所 以 根 
据 平方 和 分 解 定 理 16. 2.2 知 So/e 与 Sa/o: 相信 独立 , 且 分 别 服 
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从 自由 度 为 六 及 疡 的 好 分布 ， 

平方 和 分 解 公式 Sr 一 S. 十 5 向 我 们 揭示 了 这 样 的 事实 , 即 观 
察 值 关于 其 总 平均 值 之 间 的 差异 可 以 看 成 是 由 两 部 分 构成 的 ,一 
部 分 是 组 内 平方 和 ,或 称 为 误差 平方 和 , 它 反映 了 因 随 机 因素 的 作 
用 引起 的 差异 . 另 一 部 分 是 组 间 平 方 和 , 它 是 由 因子 的 各 个 水 平 不 
同 而 引起 的 差异 , 因此 S4 与 8. 的 比值 就 反映 了 两 种 差异 所 占 的 
比重 , 若 5 与 8. 之 比值 武大 ,说 明 因子 的 各 个 水 平 不 同 引 起 的 差 
异 显 著 . 因此 ,统计 量 


F= Sa/m— 1 


So/mtk — 1) 
可 用 来 检验 因子 的 效应 是 否 显 著 . 

在 假设 Ha (16. 1) 成 立时 , 量 Sryez ,scyoz,Sapos 都 是 闪 变 
量 ,其 自由 度 分 别 是 六 一 中 一 1, 几 一 一 me 六 一 如一 1. 并 且 成 
立 关 系 : 


《]6, 2) 


fr=f.+t+fa (16, 3) 
根据 定理 16. 2. 2: 在 假设 五 "成 立时 ,5. 与 8S 是 相互 独立 
的 ,其 自由 度 分 别 为 f. 与 /4 的 x 变量 , 从 而 ,统计 量 
F~ Flm— 1mek — 1)) (16. 4) 
现在 可 以 给 出 检验 假设 五 .的 规则 如 下 :对 于 给 定 的 显著 性 
水 平 a, 由 下 分 布 表 查 出 自由 度 为 Gm 一 1,m(& 一 1)) 的 临界 值 F,， 
如 果 F 沁 FF, 则 拒绝 原 护 设 户 o ,此 时 说 明 因 子 对 指标 起 显著 影 
响 ; 如 果 下 入 下., 则 接受 6, 此 时 说 明 因 子 4 的 不 同 水 平 对 试验 
结果 影响 不 显著 . 
方法 16. 2. 3 计算 步骤 
《1) 为 了 减少 计算 错误 ,常常 先 对 原始 观测 数据 做 下 述 线性 


条 < ， (i 一 TD gm Oo 2) 


式 中 的 cvd 是 常数 . 
(2) 将 新 数据 列 成 如 表 16. 2 的 计算 表格 


家 16.2 


Yl N12 


列 出 方差 分 析 表 ， 
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表 16. 3 单 因子 方差 分 析 表 


方差 来 源 | 平方 和 8 自由 麻子 于 光平 方 和 六 值 显著 性 
| | ( 均 方 ) 
组 间 | Ss A Sa 3 
组 内 S’ i 
-| | 1 


总 利 ST fr | 
一 一 一 一” 1 1 


(4) 进行 统计 检验 

对 于 给 定 的 显著 性 水 平 ,由 记分 布 表 及 日 由 度 (fi, 了/) 查 出 
相应 的 临界 值 ,如 果 天 > 天 ，, 则 拒绝 假设 FH ,认为 4 因子 作用 
显著 ;如 果 FF, 则 接受 假设 五 。, 认为 因子 4 的 作用 不 显著 . 

例 16.2 4 要 考察 染 上 整 工艺 对 布 的 缩水 率 是 否 有 显著 的 影 
响 . 试验 中 采取 了 5 种 染 整 工艺 ,每 种 工艺 处 理 了 14 块 布 样 , 测 得 
缩水 率 的 百分数 如 表 16. 4 所 示 . 


表 16.4 
染 整 工艺 人 全 1 2 3 4 
4 4.3 ?7.8 3.2 6.5 
A 6. 1 7.3 4, 2 4.1 
.43 6.5 8. 3 8.6 38.2 
A, 9.3 8.7 7.2 10.1 
- 一 下 
As 9.5 8.8 11.4 7.8 
OCC 


(1) 做 线性 变换 
Di 一 证 站 本 5 
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(2) 将 新 数据 列 成 表 16. 5 的 计算 格式 
按 表 16. 4 计算 出 表 16. 5. 


“ 表 16.5 
妈 07 2.8 -1.8 1.5 1.8 3. 24 13. 82 
人 4。 Ll 2 -0.8 —0.9 1,.7 2.89 7. 95 
4 15 3.3 3.6 3 2 11.5 134. 56 | 36. 34 
点: 4.3 3.7 包 2 31 15. 3 234. 09 | 63.03 
As 45 3,8 6.4 2.8 17.5 30D6. 25 | 63,49 
Li i | 
总 各 47,9 681. 03 | 204. 63 


1 


按 方法 16. 


2. 3 进行 计算 
-_1 2 
P=5x1(47. 9)*=114.72 


Q 一 并 681 603 一 170. 28 


R=204. 63 
S+=R—P=2]4.63—114.72—=—99. 91 
5 一 外 一 天 一 170. 26 一 114.72 一 55. 54 
S!~—R—Q=204.63—170.26=34. 37 
方 一 5X4 一 1 一 19 


六 一 5 一 ] 一 4 
太一 5(4 一 1 一 15 
、 55.5474 _ 
34. 3 一 人 06 


(3) 列 方差 分 析 表 如 表 16. 6， 
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表 16.5 


《4) 统计 检验 

由 自由 度 (fs 一 4 汪 一 15) ,显著 性 水 平 < 一 0.05, 查 严 分 布 表 
得 Fo 二 3.1, 由 于 计算 值 6. 1>3, 1 说 明 不 同 染 整 工艺 的 差别 显 
著 , 且 第 一 ,二 两 种 染 整 工艺 ( 即 4,, 4s) 对 布料 缩水 率 的 影响 
最 小 . 


16. 2. 2 ”试验 次 数 不 等 的 方差 分 析 


试验 中 ,有 时 获得 的 数据 不 那么 整齐 ,各 个 水 平 下 的 试验 次 数 
可 能 不 等 ,此 时 计算 公式 要 作家 应 的 调整 . 

方法 16. 2. 5 计算 步骤 

(1) 列 出 统计 分 析 数 据 表 如 表 16.7 


表 16.7 

44: TI TI TI 

As Xgl Tag “aks 

有 4; Ti Fig rt 

双 。 Tm me a 
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(2) 对 表 中 的 每 一 行 求 和 ,和 的 平方 的 平均 值 志 | 六 ) 


以 及 平方 和 > ，， 
《3) 按 下 述 公 式 进 行 计算 
六 一 Sk, 
;一 | 
1 二 
二 | 2 2 wo) 
Q= 5 El Da) 
=1 "i j=! 
四 站 
R= >> 2 
3 一 展 一 妨 
S ,一 外 一 
Su=R—P 
F= af CH 一 1» 
S/n mm) 
(4) 统计 检验 


根据 显著 性 水 平 «, 以 及 自由 度 (mx 一 1,n 一 zr) 查 下 分 布 表 ;得 
临界 值 上 , 若 计 算 值 下 省 FR, 则 斌 为 A 的 作用 显著 ;如 果 下 筷 F 则 
认为 4 的 作用 不 显著 ， 


16. 3 双 因 子 方差 分 析 


在 实际 问题 中 ,影响 试验 结果 的 因素 往往 不 只 - -个 . 这 时 需要 

用 家 因子 万 至 多 因子 的 方差 分 件 , 从 而 确定 在 众多 的 因素 中 哪些 

因素 是 主要 的 , 它 门 对 试验 结果 的 影响 是 否 显著 ,以 及 它们 之 间 是 

否 有 交互 作用 . 下面, 我们 将 详细 说 明 双 因子 方 荆 分 析 (two way 
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analysis of variance) 的 基本 思想 和 计算 方法 . 
16. 3. 1 无 交互 作用 的 双 因 子 方差 分 析 


假定 43,B 是 影响 试验 结果 的 两 个 因子 ,因子 A 有 个 水 平 : 
4 ,44 因子 B 有 WE 个 水 平 :B， ,Bs , B,. 在 如 的 n 个 水 
平 与 电 的 mm 个 水 平 的 每 种 组 合 下 作 一 次 试验 ,可 得 数据 表 16. 8， 
表 16.8 


现在 ,我 们 假定 在 每 种 组 合 下 的 试验 结果 zx, 服从 均值 为 av、 
方差 为 of 的 正 态 分 布 * 即 Toraeisc2 ;将 Qij 写 成 
i ls2 on 
j= 二 十 Bs (16. 5) 
了 一 1.2 
其 中 表示 因子 4 的 第 ; 个 水 平 的 影响 ,P 表示 因子 的 第 ;个 
水 平 的 影响 . 这 个 模型 的 含义 是 说 ,4 , 召 因 子 的 不 同 水 平 对 均值 
的 影响 是 累加 效果 ( 指 «十 8,7. 因此 这 种 模型 又 称 为 可 加 效应 模 
型 . 这 时 判定 因子 4 和 国 子 B 对 试验 指标 影响 是 否 显著 的 问题 ， 
相当 于 做 下 列 检验 五 
Ho; 五 站 五。 C18, 6) 
其 中 Ho; = 二 二, 二 0 
How; P=pPs=*"=p,=0 
Ho 也 等 价 于 A 一 让 17 A nm 
和 音 因 子 情 况 类 似 , 能 够 证 明 下 列 公式 成 立 
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公式 16. 3.1 分 解 公 子 
ST 二 访 4 十 $s 十 SS.s 
其 中 


Sr = 人) >) Cr — Xx)’, 
j=1 i=] 
54 = > > Cr — x), 
i™1 2=1 
5 (一 TY), 
?一 | j= 
S, = Dr — x CO— i +)’, 


i- 1 
™ i 
一 1 
T= Dz 
Mn 了 7 一 1 “ 


当 Ho My 五 成 立时 , 即 Ti N(ipo), 


可 知 Sr/ = DY Cr ozo ~ mn 一 1)， 
?7-] 1 1 


S54 一 一 3) 二 m1 (ZT 一)*, 是 非 负 二 次 型 ,其 


中 有 -个 约束 条 件 : > (Ti 一 = 0, 所 以 S4 的 秩 为 /4 二 # 一 1. 
S54 二 了 DD 一 7) 二 n 39(ED 一 z)* 是 非 负 二 次 型 ,有 一 


个 约束 条 件 > (77 到) 二 0, 所 以 Ss 的 秩 为 fy 二 敬一 1 
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S.= > > (rm 一 二 一 三 十 二 )2, 有 约束 条 件 : > (wi 一 入 


Il 
心 


一 三 十 下 一 0 一 112 和) 共 下 个 ,> Cn 一 二 .一式 j 十 7) 
1 一 上 


= 0,j 二 1,2,… mm, 共 砚 个 ,它们 中 都 包含 了 > (zy 一 天 一 式 ) 


i=1 了 一 上 


十 节 ) 一 0, 即 约 束 条 件 有 十 zw 一 1 个 ,所 以 S。 的 秩 为 mn 一 Cm 十 
n—i}=(m—1)(n—1). 

综 上 所 述 Sr,Saw5a,S, 的 秩 分 别 为 : 

Fr=mn—1l fa=n—1l fs—=m—1s f= (m1) (na 1). 

由 于 Srrjer 一 Sa2 十 Sa 十 Sa 而且 fr= /fat fastf.. 

根据 平方 和 分 解 定理 ,在 Ha 门 昌 Hw 成 立 的 假定 下 ,Sas5Sa'5. 
相互 独立 ,日 Sa/os 和 ~ 一 ;Se/o~X(m— Di/ ~ (mn 
1) nm—1), 

公式 16. 3. 1 告诉 我 们 ,总 的 离 差 平方 和 可 以 分 解 为 三 个 部 
分 :$4 反映 了 因子 4 的 各 水 平 之 间 的 差异 ;5r 反映 了 因子 总 的 各 
水 平 之 闻 的 差异 ;S$, 反映 了 在 交互 作用 不 显著 时 试验 本 身 误差 的 
大 小 , 因此 可 利用 $4 与 $. 的 比值 大 小 来 考查 因子 4 的 各 水 平 差 
异 是 否 显著 ,利用 Sa 与 $. 之 比值 的 大 小 来 考查 因子 五 的 各 水 平 
差异 是 否 显著 . 下面 的 统计 量 就 是 用 来 做 显著 性 检验 的 统计 量 . 

4 一 1) 


Fa gm TD or 1)) 
C16. 7 
” Sa/ ml Fon— 1 — 1)m— 1)) 


aT Sf — Cm — 1) 
(16. 8) 
根据 显著 性 水 平 we, 自由 度 ( 六 ,六 )，( 户 ,六 ) ,由 已 分布 表 , 分 
别 查 出 统计 量 F4 和 Fs 的 临界 值 ,再 分 别 检验 因子 A 与 因子 号 对 
试验 是 否 有 显著 影响 . 
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公式 16. 3.2 计算 公式 和 计算 步骤 
(1) 为 了 便于 计算 ,经常 对 原始 数据 作 干 述 的 线性 变换 ， 
Yi (f= ln Oo lm) 
式 中 cd 均 为 常数 ， | 
(2) 列表 .并 分 别 对 行 和 列 求 出 和 》) ,和 平方 | > ,以 及 平 
方 和 > 如 表 16. 9 所 永 ， 


表 16.9 


(3) 按 下 列 公式 进行 计算 


* 289 » 


T= 2 2 
安安 
Sh 二 一， fu=An*m—1, 
$4 二 包 一 了 ， 太一 天 一 1， 
5 一 玉 一 三 ， fa=m—1, 


S=T—-Q— Ri+P, f= Doo— 1), 


SP Se/fp 
Pa SF te = 


《4) 列 出 方差 分 析 表 如 表 16. 10， 
表 16. 10 ”无 重复 双 因 子 方 差 外 析 襄 


EE 


(< 鬼 放 
方 六 来源 | 六 方 和 5 | 自 出 度 /| ww 本 | “人 | 显 项 性 
有 4 因子 的 作用 54 / S/F Fo 
58 因 f 的 作用 Sh | /fs Sfy | Ek 
误 蔗 号 六 SS 
总 和 Sh fg | 


(5) 进行 统计 检验 . 
例 16.3.3 影响 某 试 验 的 指标 有 两 个 因子 4 与 吾 , 各 取 4 个 
水 平 , 其 试验 数据 如 表 16. 11 所 示 , 现 在 问 , 哪 一 种 因子 对 试验 的 
影响 显著 . 
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(1》 对 试验 数据 作 如 下 的 变换 , 令 


3 和 44. 


C2 列表 计算 如 表 16. 12， 


总 1 B: Bs: B, 
上 


因子 4 
A go -0.24 -0.28 0.17 —2.15 4. 62 


《3 按 公 式 16. 3.2 进行 计算 


i 2 
P Tx al 6) 8. 35 


Q= C25. 76) = 31.44 
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R= (B88. 64) 一 22. 16 


了 一 49. 05 
号 一 了 一 下 一 49.05 一 8.35 一 40.70 
Si= 人 QQ- P= 3.41— 8.35= 23.09 
二 R— P=22.16— 8.35= 13.8] 
S'=TC—Q—R+i+rP= 3.80 
fa= 16—1=15 
一 4 一 1 一 3 
一 4 一 1 一 3 
f=3X3=9 
(4) 方差 分 析 表 如 表 16. 13. 


表 16.13 
一 一 
平均 离 若 
方差 来 源 六 方 和 与 | 自由 诬 关 1: 一 下 值 显著 性 
平方 入 
因子 4 23. 09 3 7.70 |F,=]18.33 显著 
三 子 局 13. 81 3 4. 60 |Fs—=10.95 显著 
误差 3. 80 9 0. 42 
总 和 40. 70 15 | 
《5》 统计 检验 


由 显著 性 水 平 a=0, 01 琉 自 由 度 (3,9) 查 下 分 布 表 得 临界 信 
Fy ol 二 6, 99, 


计算 值 4 二 18. 33 访 6. 99, 故 因子 4 对 试验 影响 显著 ;又 
Fa 一 10.95>6. 99, 故 因子 B 对 试验 影响 也 显著 . 


16. 3. 2 ”有 交互 作用 的 双 因 子 方差 分 析 


设 有 因子 4 和 因子 ,因子 4 取 半 个 水 平 , 因 子 吕 取 闫 个 水 
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平 .在 4 的 x 个 水 平和 B 的 mm 个 水 平 的 各 种 组 合 下 ,各 进行 了 + 
次 试验 ,ra 表示 试验 在 4.8B; 条 件 下 作 第 次 重复 试验 的 数据 . 现 
在 有 表 16. 14 所 示 数 据 表 . 


表 16.14 
t21 
Tl2 证 128 TIm2 
A 、 
四 lr ar 41 
ail | Eant] 
! 
| Ta 下 2 em 
A; 
: 1 
1 
_ _ Foy ar | Tam 
wil Tual ET 
-mn 区 Tmor2 
过 ， 
二 mw Bl rm 


假定 xin( 裘 示 在 因子 4 的 第 i 个 水 平 ,因子 B 的 第 ;个 水 平 
下 做 第 在 次 试验 所 得 数据 ) 服 认 Na 1,0) 而 ain 可 以 写成 ， 
ain = Rw 二 Bj; ri (16.9) 
其 中 & 表示 因子 4 第 i 个 水 平 的 单独 作用 引起 的 差异 ,8 表示 因 
子 B 的 第 ;个 水 平 的 单独 作用 引起 的 差异 ,x 表示 因子 4 第 i 个 
水 平 与 因子 8 的 第 个 水 平 的 交互 作用 引起 的 差异 ,因此 检验 因 
子 ,因子 8 及 其 交互 作用 的 影响 的 问题 等 价 于 做 下 列 检 验 
Ho: Ha 门 五 oa MN Ho 《16. 10) 
上 其 中 Hw ,T6201iw 分 别 为 下 剂 检 验 : 
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Hu: 0 
Ho: P=B=" = =0 


Hn: r=rs = ry rn 0 


等 价 于 H,: d= 

有 交互 作用 的 双 困 子 方差 分 析 模 型 的 分 析 思 想 和 前 一 节 娄 
似 ,将 总 的 离 差 平方 和 分 解 成 4 个 部 分 :(1) 国 子 4 单独 作用 的 结 
果 , 《2) 因子 B 单独 作用 的 结果 , (3) 4 与 妃 的 交互 作用 的 结果 ， 
记 作 AXB,(4) 试验 误差. 用 平方 和 分 解 公式 表示 , 则 有 


其 中 
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Sr = Sa 二 Sa Saxg tT Se 《16.11》 


ST 二 > > >», CREE ~ TY)? 


i=1 j=1 上 一 1 


46 一 3 >, (zi 一 Tj zr) 


i=l jaml 


i=1 j=l 到 一 | 
二 工 》x 
后 一 ijk 
r=1 
四 mm mm 
- 11- _l1 
Ee ia 
了 一 J 一 1 生 一 上 
KH 1 
zu LV = Dr 
i i 及 
WE Th i is] 


入 | 

| 

9 | 

i 

- 
也 
I 

be 


与 上 一 节 中 的 分 析 相 仿 ,可以 证 明 在 假设 豆 o(16. 10) 成 立 的 
条 件 下 ,Sr/o 一 尖 CGmnr 一 1) ,Sa 的 秩 为 疡 一” 一 1,Sr 的 秩 为 /4 一 
mH 一 1Sa5 的 秩 为 fa4 一 nm (7 一 1),5. 的 秩 为 二 (x 一 1)(m 一 1). 
由 于 

fr= ft ft if 

根据 定理 16.2.2 可 知 ;S4,SwySinyS, 相互 独立 ,而 且 Sayo*， 
SajerSasfazyssyos 分 别 服从 自由 度 为 fas 8;fanofi 的 六 分 布 . 
因此 


SA . 
天 一 3 Fifart.) 《16. 12) 
4 Saffn ~ 
Fa= SF Fefssf.) 16. 13) 
»” Sapr/ dl aE ~ ， 
下 一 S/F ~ rr (Fa 16. 14) 


例 16. 3.4 在 某 橡胶 配方 中 ,考虑 3 种 不 同 的 促进 剂 ,4 种 不 
同 份量 的 氛 化 锌 . 同样 的 配方 重复 一 次 ,测定 300% 定 强 如 16. 15 
表 所 示 . 现在 问 : 氧 化 锌 ,促进 剂 以 及 它们 前 交互 作用 对 定 强 有 无 
显著 的 影 啊 ， 


表 16.15 


B: 


nr ps 


闪 ; 31:33 34 36 35:36 39,38 
A 33,34 36+137 37139 38.41 
A i 35.37 37 .3 名 39.40 42 ,和 4 


(1) 列 计算 下 格 , 如 16.16 表 所 示 . 
为 了 计算 方便 在 计算 时 将 16. 15 表 所 有 数据 同时 减 去 37, 仍 
以 rw 表示- 
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表 16. 16 的 最 后 三 列 是 经 计算 得 到 的 ,X 一 》 xz, 在 目前 
的 情况 下 + 二 2, 所 以 ;是 前 两 列 之 和 ,例如 XX 二 一 6 一 4 一 
一 10; 总 是 前 列 数据 的 平方 和 , 例如 DE 
《一 全 :一 36 十 16 一 52; 最 后 一 列 是 XX, 的 平方 


表 16.16 
A B Ti Ti Xi Dx 天 
上 一 1 
B —§ 一 4 一 10 52 100 
B, 3 1 4 10 16 
由 
B; 2 1 .3 5 9 
B, 2 1 3 5 9 
B, 一 4 一 3 一 ?7 25 49 
Bs 一 1 0 一 1 1 1 
4: 
Bs, 0 2 2 4 4 
B, 1 各 5 17 25 
1 1 
B, 一 了 0 一 2 3 4 
Bs 0 1 1 1 1 
总 
B, 2 3 5 13 25 
B, 5 7 12 74 144 
> 1 211 387 


(2) 按 下 述 公 式 进行 计算 : 
#: 因子 4 的 水 平 数 ， 
m2: 因子 B 的 水 平 数 ， 
r; 试验 的 重复 次 数 ， 
”了 86 。 


1 2 
Q= 一 Xi 
7 ;= ' Ee] 
R= 1 (Sx,) 
nr 
T= OR 
r i | i=1 
W 一 his 
i=1 j= $=1 
站 一 全 一 全 fe 一 Har 一 工 
S414 二 外 一 了， f=n—1 
rz 一 及 一 中， fs=m—1 
Sa = TQ~RI+P, fas = (nHn— 1)(m— 1) 
SS.= HW 一人， f= nm(tr Oo 1) 
, Sf fa 
和 
FE Su/fs 
?S/F 
F 一 Sap/ an 
3 SA 
_ 1 » 12 -一 1 2 = 
A 1 3x4xal 0 
W = 211 
T= x387 = x 387— 193.5 
r 2 


将 元; 列 成 表 16. 17, 
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表 16. 17 

B, B: Bs B, > 
4 一 10 一 4 一 3 3 一 14 
As 一 了 一 1 2 5 一 1 
4 一 2 1 5 12 16 
>) 一 19 一 4 4 20 


[ > | 
由 16. 17 表 右 下 角 的 两 个 数 得 


1 _.l . 一 
日 二 一 453 一 Ti" 453 = 56.6 
R= .793—=— 1 ,793= 132.2 
nr 3X2 
Si=W— P=211 
Si4= 人 一 P=56.6 
Ss= R— P=132.2 
Sas=—= TC—Q— RP=4.7 
S.C—=~W— 人 T=17.5 
、 56.6/2 28.3 
六 一 17.5/12 1.46 | 19. 4 
,132.2/3 44.1  ， 
Mo 17.5712 1.46™ 30°2 
pn 4. ?7/6 0.8 _ cs 


17.5712 1.46 


上 述 计算 结果 可 以 列 成 方差 分 析 表 如 表 16. 18 所 示 . 
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表 16- 18 有 重复 双 因 子 方差 分 析 表 


方差 来 调 平 上 和 自由 度 均 方 FE 显著 性 
A S54=56.6 ?一 1 一 2 28.3 | 19.4 六 
B Ss=132,2 1=3 1 44.1 | 30.2 # 


人 AB San= .7 Can— ltm—1)=6 ;: 0.8 Q, 355 


误差 光一 17.5 nmtr. 1)=12 1. 46 


总 和 S7+=2]11,.0 nmr Om— 1] 23 


(3) 统计 检验 | 
根据 显著 性 水 平 stz 一 0.01) 必 相应 的 自由 庆 查 得 Fo。 (2， 
12)=6.9,F,0 (3,12) =6.0,Fn.0(t6,12) 一 3.0, 由 于 
Fi= 19,4>> 6.9 
Fs = 30.2 > 6.0 
Fig = 0.55 < 3.0 
可 以 认为 促进 剂 4 与 氧化 锌 总 量 5 都 是 重要 因素 ;但 是 二 者 
的 交互 作用 很 小 ,作用 不 显著 . 


16. 4 均值 的 和 多重 比 较 


在 前 几 节 ,我 们 利用 下 检验 判定 因子 的 显著 性 , 当 因 子 的 水 
平 数 之 3 时 ,如 果 坟 检验 影 著 , 并 不 一定 能 说 明 所 有 水 平 之 间 的 差 
蜡 了 世 显著 ,而 只 能 说 明 至 少 存在 着 两 个 水 平 有 显著 差异 . 在 实际 问 
是 中 ,有 时 希望 弄 清楚 哪些 水 平 之 间 有 显著 差异 ,哪些 水 平 之 间 不 
显著 . 例如 在 例 16. 2. 4 中 ,5 种 染 整 工艺 对 缩水 率 有 显著 影响 ,从 
平均 缩水 率 看 ,以 工艺 4: 最 低 , 但 工艺 4; 在 生产 上 比较 麻烦 , 劳 
动 基 比较 大 ,自然 想 换 成 另 一 种 与 工艺 4, 缩水 率 差 异 不 显著 的 
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工艺 ,后 者 在 生产 上 却 易于 实施 . 判定 诸 水 平 之 闻 差 异 是 否 显 著 的 
方法 叫 均 慎 的 名 午 比较 Cmultiple comparasions). 

问题 的 一 般 提 法 是 ,已 给 二 个 平均 值 , 按 大 小 对 它 排 序 :zreo 产 
Zoo 六: 在 做 均值 的 成 对 多 重 比较 时 ,如 果 均 值 的 莽 ro 一 
xo; 大 于 某 个 临界 信 DP, 那么 将 以 显著 性 水 平 断定 水 平 4 与 4， 
之 间 有 显著 差异 . 选择 D; 的 方法 有 下 述 几 种 . 

方法 16.4.1 多 重 比 较 方法 

对 于 相等 的 ,或 不 等 的 样本 群 以 及 任意 的 均值 对 ,有 


,一 V5 二 十 下 | 下 一 DFE 一 1,f.) 16.16) 
其 中 
3. 一 学 是 方差 分 析 中 误差 均 信 ， 
Miro 是 被 比较 的 两 个 术 平 的 样本 数 . 
乒 是 5. 的 自由 度 ， 
上 是 被 比较 的 均值 的 个 数 ， 
a 是 显著 性 水 平 ,通常 取 5%， 
计算 | | : 若 D> |z; 一 之 ;| : 则 认为 Adidas 否则 认为 Hi 
方法 16.4.2 学 生 开 方法 (或 称 了 方法 ) 
在 祥 本 群 的 大 小 相等 时 ,有 


Di = gtk,f) Ne (16. 16) 


当 MN; 时 ,近似 有 公式 


Di = gk,f) AS XO. 5| 二 十 | (16. 17) 


其 中 为 每 个 水 平 重复 试验 的 次 数 ;& 为 被 比较 的 水 平 个 数 ， 
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S$, 为 方差 分 析 中 的 均 方 误差 ;六 为 3. 的 自由 度 j9(, 六 ) 是 系数 ， 
可 以 从 了 表 ( 附 表 5) 中 查 到 . 

例 16.4.3 设 a=0.05,zrl 到 zs 分 别 为 :26. 8,26. 3,25.2， 
19.8,14.3,11.8. 叉 知 坟 二 8(7f 一 1,2.0,6) ,5 二 10, 38,f/. 一 42. 取 
a 二 0. 05, 由 于 & 一 6, 由 已 表 查 得 

Foost6 一 1,42) = 2. 44. 


由 此 得 
Dp, = wa 38[ 言 十 于 | (6 一 1)2. 44 一 5 63. 
以 及 由 9 表 查 得 
ga) = ql,(0,05) 一 4 22. 
由 此 
Dy 一生 22 X V = 4. 81. 
计算 均值 差 
Tx;|=0.5, 一 了 一 1.6 
Ti 一 2 一 7.0， TI—xs|=12.5 
2 一 2 一 15.0， 2 一 Ti 一 1 1 
Xs—Xi|=6.5, zz 一 了 | 一 12.0 
和 一 Xe 一 14.5， XI 一 X41 | 一 5. 征 
2 如 3 一 如 | 一 10.9， Zs— xs|=13.4 
Ti— zs | = 56,5, x1—rs| 一 8.0 
5 一 2.5 
根据 DD,: 


例如 ;|x 一 xs| 二 0. 5< 之 5. 63, 可 以 接 爱 a, 二 2;, 即 认为 水 平 1 
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与 水 平 2 无 显著 差异 . [zi—zxs | 二 12, 87>9, 53, 可 以 拒绝 Ql Ar 
即 可 认为 水 平 1 与 水 平 5 之 间 有 显著 差异 . 


根据 五 ，， 
例如 :|z; 一 和 | 一 0.5<4. 81, 可 以 接受 四 一 ay 可 认为 水 平 1 


与 水 平 2 无 显著 差异 . |z — zs | 一 12. 0>4.81 ;可 以 拒绝 Qa dor 
认为 水 平 2 与 水 平 5 之 间 有 显著 差异 . 
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17 正 交 设计 
17.1 正 交 表 及 其 用 法 


正 变 设计 (orthogonail design) 是 一 种 安排 和 分 析 试 验 的 方 
法 , 它 有 下 面 两 个 主要 特点 : 

(1) 任意 一 对 因子 (也 称 因 素 } 的 任 一 水 平 组 合 必 在 试验 中 出 
现 ,县 出 现 次 数 相 同 . 

(2) 总 试验 次 数 比 用 全 面试 验 ( 所 有 因子 的 任 一 水 平 组合 痢 
进行 搭配 ) 要 少许 多 次 . 例如 对 7 个 2 水平 因 子 , 进 行 全 面试 验 要 
做 2 一 128 次 . 而 用 正 交 表 安 排 试 验 只 需 做 8 次 ， 

几 正 交 表 合理 地 安排 试验 ,可 以 做 到 省 时 .省 力 . 涯 钱 , 又 能 得 
到 基本 令 人 满意 的 检验 效果 . 因此 这 种 方法 在 改进 产品 质量 .研究 
采用 新 工艺 .试制 新 产品 ,了 解 设备 工艺 性 能 以 及 改进 技术 管理 等 
众多 方面 都 已 获得 应 用 . 


17. 1. 1 正 次 表 


一 般 形式 的 正 交 表 {orthogona] table) 可 沁 为 LCmb XmtzX 
Xm ), 它 表示 要 做 次 试验 ,可 容纳 水 平 数 为 mw; 的 点 个 因 
子 ,水平 数 为 ms 的 下 个 因子 ,… ,以 及 水 平 数 为 ms 的 如 个 因子 ， 

例 17.1.1 正 交 表 工 (3’) 如 表 17.1. 

常见 的 正 交 表 中 ,如 

2 水 平 的 有 工 (257 ,LC27) ,522077025)7， 等 ; 

3 水平 的 有 75347, 37(35) ,等 

4 水平 的 有 工 s(4) ,等 ; 
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5 水 平 的 有 Lzs (5") ,等 . 
束 17.1 


正 交 罕有 下 面 两 个 特点 ，: 

(1) 表 中 每 刻 中 不 同 数字 出 现 的 次 数 是 相等 的 , 如 Ls(3) 中 ， 
每 列 中 1,2,3 数字 各 出 现 3 次 . 

(2) 在 任意 两 列 中 ,将 同一 行 的 两 个 数字 看 成 有 序数 对 时 ,每 
种 数 对 出 现 的 次 数 是 相等 的 ,如 工 ,C3') 表 中 ,每 两 列 中 每 行 的 有 序 
数 对 有 (C1117, C01,2), (1,3),C2,1),(2,2),(2,3),(3,1),(3,2), 
(3,3) 等 9 个 , 它们 各 出 现 一 次 . 

由 于 正 交 天 有 这 两 条 性 质 , 所 以 用 它 来 安排 试验 时 ,各 因子 的 
各 种 水 平 措 配 是 均衡 的 . 


17, 1, 2 正 交 表 的 使 用 方法 


例 17.1.2， 某 炼 铁 广 为 了 提高 铁水 温度 ,需要 通过 试验 选择 
最 好 的 生产 方案 ,经 初步 分 析 主 要 有 3 个 因子 影响 铁水 温度 , 它们 
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是 焦 比 \、 风 压 和 底 焦 高 度 . 每 个 因子 考虑 3 个 水 平 , 问 这 3 个 因子 、 
3 个 水 平 如 何 安 排 才能 获得 最 高 的 铁水 温度 . 


吉 17.3 


底 焦 高 度 (C) 


在 此 问题 中 我 们 关心 的 是 铁水 温度 , 称 铁水 温度 为 试验 指标 . 
由 于 只 有 一 个 指标 故 称 为 单 指标 问题 ,如 果 做 全 面试 验 需 做 3: 次 
试验 ,用 正 交 表 Ls(3 安排 试验 ,只 需 做 9 次 试验 , 利用 工 ,034)? 表 ， 
将 4,B,C 这 3 个 因子 安排 在 表 的 前 3 列 上 ,按照 表 17. 2 所 确定 
的 水 平 及 上 ,(3*) 中 的 试验 号 进行 试验 (例如 将 因子 4 的 第 1 个 水 
平 1: 16 与 因子 8 的 第 1 个 水 平 22610Pa 及 因子 C 的 第 1 个 水 
平 1. 2m 高 的 底 焦 措 配 做 一 次 试验 称 为 标号 为 1 的 试验 ) ,得 结果 
如 表 17. 3 所 示 ， 

正 交 试验 结果 的 分 本 

每 列 中 页: ,天 ,大 3 的 数字 是 这 样 得 到 的 :将 表 中 第 1 列 中 数 
字 1 所 对 应 的 措 标 中 的 数字 加 在 一 起 得 到 第 1 列 中 天, 的 数字 , 例 
如 将 表 中 第 1 列 中 1 所 对 应 的 指标 数字 15,45,35( 表 中 最 右 一 
列 ) 相 如 得 到 95 , 写 在 第 1 列 下 玉 , 的 那 一 行 中 ,再 将 表 中 第 2 列 
中 1 所 对 应 的 指标 数字 15,40,40 相 加 ,得 到 95, 写 在 第 2 列 下 天， 
前 那 一 行 中 ,最 后 理 将 表 中 第 3 列 中 1 所 对 应 的 指标 数字 15,30， 
40 相 加 ,得 到 85, 写 在 第 3 列 下 天, 的 那 一 行 中 ,…:* 表 中 天; 那 一 
行 的 三 个 数字 ,也 是 分 别 由 第 1 列 中 数字 3( 表 示 第 3 个 水 平 ) ,第 
2 列 中 的 数字 3, 以 及 第 3 列 中 的 数字 3 所 对 应 的 指标 数字 相 坟 后 
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记录 在 K; 的 那 一 行 ,它们 分 别 是 140,155,120. 


表 17.3 


指标 铁水 温度 
铁水 温度 (CY 减 去 1350 


1365 15 
1395 45 
1385 35 
1390 40 
1395 45 
1380 30 
1380 40 
1390 40 


1410 60 


裘 中 的 ,s&s 行 的 数字 是 这 样 得 到 的 ;和 例如 第 1 列 中 下 
行 的 数字 31. 7 是 由 第 1 列 天, 行 的 数字 95 除 以 3 得 来 ,因为 
第 1 列 中 1 出 现 3 次 ,故而 特 其 总 和 除 以 第 1 列 中 1 出 现 的 次 
数 3. 
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由 于 每 列 中 1l,2,3 出 现 的 次 数 都 是 3, 因此 Ri 二 EK/3, ;= 
Ks/3 ,ks— Ks/3, 

表 中 极 盖 那 一 行 的 数字 是 由 每 列 中 ,Rs 中 的 最 大 值 减 去 
最 小 值得 到 . 例如 15.0 一 46.7 一 31.7. 

极 差 最 大 者 ,表示 该 国 素 的 各 个 水 平 的 变化 对 指标 影响 大 , 因 
而 该 因子 为 主要 因子 ,从 这 个 试验 看 出 C 因子 ( 麻 集 高度) 的 极 差 
最 大 ,而 生 ( 一 48, 3) 在 总 ,ks 中 为 最 大 ,故而 对 指标 好 的 水 平 
选 方 Cz,4 因子 ( 焦 比 ) 极 差 次 之 ,而 以 大 (=46.7) 最 大 , 栈 而 选 第 
3 水 平 4:( 焦 出 1 : 14). 

B 因子 ( 风 压 ) 极 差 最 小 ,其 中 又 以 有 (二 43. 3) 最 太 , 选 B。 
(30590 Pa). 最 后 得 

优 方案 : 人 3 五;， 如 果 不 放 心 ， 可 再 微 一 次 试验 A4CBi: 观 察 
其 结果 是 否 是 最 佳 方案 . 

方法 17.1.3 用 正 交 表 安 排 试验 的 步骤 

(1) 明确 试验 目的 ,确定 要 考核 的 试验 指标 . 

(2) 确定 要 考察 的 因子 和 因子 的 水 平 . 

{3) 选用 合适 的 正 交 表 , 能 安排 下 因子 和 水 平 即 可 ， 

4) 根据 试验 号 的 安排 进行 试验 并 纪录 试验 指标 的 具体 
数据 . 

(5} 计算 Ki.KssKss (kK, 为 对 应 于 第 四 个 水 平 所 对 应 的 指 
标 总 和 ). 

《6) 计算 请,"…， 

(7) 计算 每 列 中 所 ,和 的 极 差 ， 

(8) 极 差 最 大 的 列 所 对 应 的 因子 是 最 主要 因子 . 当 要 求 指标 
您 高 愈 好 时 可 选 该 列 中 到, 二 ,中 最 大 者 所 对 应 的 水 平 为 优 水 
平 . 当 要 求 指标 依 低 愈 好 时 ,可 选 该 列 中 所 避 , 中 最 小 者 所 对 应 
之 水 平 为 优 水 平 . | 
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每 列 都 进行 分 析 . 从 而 得 到 最 优 的 试验 安排 . 
17.2 多 指标 的 分 析 方 法 


17.1 的 问题 中 试验 指标 只 有 一 个 ,考察 起 来 较 方便 ,但 在 实 
际 问题 中 需要 考虑 的 指标 往往 不 止 一 个 . 下面 介绍 两 种 解决 多 指 
标的 试验 方法 . 


37.2.1 综合 平衡 法 


例 17.2,1 对 某 产品 的 原 科 进行 配方 试验 ,要 检验 3 项 指 
标 ; 抗 压强 度 . 落 下 强度 ( 指 产品 从 高 处 落下 时 出 现 破裂 现象 的 最 
小 高 度 ) 和 裂纹 度 . 前 两 个 指标 傅 大 愈 好 ,第 3 个 指标 越 小 越 好 . 根 
据 以 往 经 验 , 配 方 中 有 三 个 重要 因子 :水 份 . 粒 度 和 碱 度 , 它们 各 考 
谍 3 个 水 平 ,如 表 17. 4 所 示 . 


表 17.4 


符 诬 (%) 
8B 


选用 I,t31) 表 ,将 因子 4,8B,C 放 在 前 3 列 中 . 
对 3 个 指标 分 别 按 方法 17. 1. 3 中 所 还 进行 计算 ,结果 列 在 表 
17.5 的 下 端 . 
从 结果 看 出 , 某 个 水 平 组 合 对 某 个 指标 优良 而 对 另 一 个 指标 
就 不 一 定 优良 ,故而 需要 做 综合 分 析 . 
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各 指标 试验 结果 


抗 压强 度 
(kg/ 个 ) 


落下 强度 
(0, 5m 


”309“， 


各 指标 试验 结果 


抗 压 强度 
(kg/ 个 ) 


落下 强度 
(0 5m7 深 】 


发 纹 剧 


将 3 个 因子 对 3 个 指标 的 影响 各 画 出 一 个 图 . 
从 表 17.5 看 出 欲 使 抗 压强 度 高 , 优 方案 为 A.8sC,; 欲 使 落下 
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强度 高 , 优 方案 为 41B:C2, 和 化 使 裂纹 度 低 , 优 方案 为 41B:O. 通过 
对 图 17.1 一 图 17. 3 进行 综合 分 析 ,可 以 看 出 对 于 因子 4 选 4, 可 


落下 强度 


1 一 -| 上 1 FP | 
了 3 出 4 加 1.1 1.3 1.5 
水 从 粒 座 碱 度 
17.2 


> 
/ 
\ 


六 本 | 加。 B| B, B, C C, 
了 工 -一 一 上 一】 | 一- 一- -一 下 
了 台 9 4 各 8 1-1 1.3 1.5 
水 份 粒度 
图 17.3 
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司 抗 焉 强度 高 县 裂纹 度 低 , 选 B; 可 使 3 个 指标 达到 好 的 要 求 , 选 
C 也 可 使 抗 压 强度 高 且 裂 纹 度 低 , 因此 综合 分 析 的 结果 说 明 优 方 
案 应 为 4,B;O, 
17. 2.2 综合 评分 法 

例 17.2.2 某 厂 生 产 一 种 化 工 产 品 , 需 要 检验 两 个 指标 ; 核 
酸 纯 度 与 回收 率 . 这 两 个 指标 都 是 越 大 越 好 . 考虑 4 个 关子 ,各 3 
个 水 平 如 表 17. 6. 

表 17.6 


时 间 (h) 加 料 中 核酸 含量 
4 


选 正 交 表 L,(3} 如 表 17.7. 
宗 合 评分 法 就 是 根据 各 个 指标 的 重要 性 的 不 同 , 给 每 一 个 试 
验 评 出 一 个 分 数 . 如 在 17. 2. 2 例 中 , 恨 据 实际 情况 纯度 的 重要 性 
比 回收 率 要 重要 得 多. 可 认为 纯度 的 重要 性 是 回收 率 的 4 倍 , 即 若 
将 回收 率 的 重要 性 看 成 ,纯度 就 是 4, 这 个 1 和 4 分 别 叫做 两 个 
指标 的 权 , 按 这 个 权 给 每 个 试验 打 总 分 ， 


总 分 二 4X※ 纯 唐 十 1 Xx 回收 率 . 


根据 这 个 公式 ,算出 每 个 试验 的 总 分 . 列 在 表 17. 7 的 最 右 端 . 
然后 对 这 个 综合 评分 微分 析 . 根据 航 闭 的 大 小 以 及 总 分 越 高 越 好 
的 要 求 , 得 优 方案 是 A,B:CsD;. 
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各 指标 试验 结果 


纯度 


回收 率 


30,0 


17.3 混合 水 平 的 正 交 设计 


在 实际 问题 中 各 因子 的 水 平 数 不 一 定 相 等 ,解忧 这 样 的 问题 


有 两 种 方法 ; 
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(1) 直接 用 滥 合 水 平 的 正 交 表 . 
(2) 拟 水 平 法 , 即 把 水 平 不 同 的 问题 转化 成 水 平 相同 的 问题 
来 处 理 . 


17.3.1 混合 水 平 的 正 交 训 及 其 用 法 


混合 水 平 的 正 交 表 有 许多 种 ,其 中 如 Ls (C4: X2') 就 是 一 种 , 它 
能 解决 一 个 因子 有 4 个 水 平 , 及 4 个 因子 各 有 2 个 水 平 的 试验 . 
例 17.3.1 某 农 科 站 进行 蝇 种 试验 , 共 考 虑 4 个 因子 ,一 个 
因子 有 4 个 水 平 ,另外 3 个 因 于 各 有 2 个 水 平 . 试验 指标 是 产量 ， 
高 越 好 , 见 表 17. 8. 


表 17.8 


氮 . 爸 ,钾肥 比例 
全 


选择 正 交 表 ma(4X2) ,将 4,5:CD 因 耶 放 在 前 4 列 如 表 
17. 9. 


17. 3. 2 所 水 平 法 


例 17.3.2 做 某 试验 ,试验 指标 只 有 一 个 , 它 的 数值 越 小 越 
好 . 在 4 全 因子 中 4,.5, 万 是 3 水 平 的 ,C 因子 是 2 水 平 的 ( 表 
17. 10). 

如 果 C 因子 也 是 3 水 平 的 ,那么 可 选用 ZL (31) 来 安排 试验 . 
但 现在 怠 是 2 水 平 的 ,为 了 能 使 用 了 (34) 表 ,我 们 将 因子 C 虚拟 
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一 个 水 平成 为 3 个 水 平 . 使 用 工 :(34) 表 ( 表 17. 11). 
表 17.9 


试验 指标 
(产量 } 


”315， 


虚线 框 内 就 是 虚拟 的 水 平 ， 


表 317.11 
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试验 指标 


由 于 用 正 交 表 做 试验 时 因子 C 的 第 3 水 于 就 荐 第 2 水平 , 因 
此 这 - 列 的 真正 水 平 写 在 虚 狼 框 内 . 对 于 因子 忆 的 六 值 ,也 只 出 
现 开 ，,Ks 有 一 天 3 一 天 /6 而 对 于 因子 4, 有 ,六 列 的 外 ea， 
记 , 都 是 名 二 KA3,1 二 112,3, 优 方案 是 4.5CDD 


17.4 有 交互 作用 的 正 交 设计 


例 17.4.1 有 4 块 试验 田 , 圭 质 情况 基本 一 样 , 种 植 同样 的 
作物 , 现 将 氮肥 ,磷肥 采用 不 同方 式 活 在 四 块 田 里 ,收获 后 算出 平 
均 调 产 . 


表 17.12 | 单位 ;kg 


从 家 17.12 看 出 ,不 如 化 肥 , 平 均 亩 产 400(kg). 只 加 楼 肥 
《dkg) ,平均 收获 450Ckg) ,增产 50kg. 只 施加 氮肥 (6kg) 收 藏 430 
(kg) ,增产 30kg, 而 氮 磷 肥 都 施 增 产 160kg ;因此 氮 、 克 肥 的 交互 
作用 显然 可 用 下 面 公式 ， 
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交互 作用 二 所 ,磷肥 的 总 效果 一 (只 加 氮肥 的 效果 十 只 加 楼 肥 
的 效果 ). 

在 多 因子 试验 中 ,如 果 不 能 确认 交互 作用 影响 很 小 ,就 应 该 通 
过 试验 分 析 交 互 作用 . 


17.4.1 交互 作用 表 


它 基 用 来 安排 交互 作用 试验 的 ,我 们 把 交 芋 作用 看 成 一 个 因 
子 , 让 它 也 占 表 中 的 一 列 , 叫 交互 作用 列 , 交互 作用 的 安排 可 以 查 
交互 作用 表 . 


衣 17. 13 


从 表 17. 13 可 以 查 出 正 交 表 关 (27)? 中 的 任何 两 列 的 交互 作用 
列 , 查 法 如 下 ;第 1 个 列 号 是 带 ( ) 的 ,从 左 往 右 看 第 2 个 列 号 是 
不 带 ( ) 的 ,从 上 往 下 看 , 表 中 交叉 处 的 数字 就 是 两 列 的 交互 作用 
列 的 并 号 . 例如 用 7 (27 安排 试验 时 ,如 果 因 子 4 放 在 第 1 列 , 因 
子 B 放 在 第 2 列 , 则 从 带 括号 的 (1) 往 右 看 ,从 不 带 括号 的 2 往 下 
看 ,交叉 处 的 数字 是 3, 这 就 是 4 因子 与 8 因子 的 交互 作用 列 . 从 
表 17. 13 还 可 看 出 ,第 1 列 和 第 3 列 的 交互 作用 列 号 是 第 2 列 ,第 
4 列 与 第 6 列 的 交互 作用 列 也 是 第 2 列 , 这 说 明 不 同 列 的 交互 作 
用 列 可 能 在 同一 列 ， 
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17. 4. 2 正 交 认 和 约 列 的 自由 度 


(1) 正 交 表 每 列 的 自由 度 fs 等 于 种 列 的 水 平 数 减 1. 由 于 因 
子 与 列 是 等 同 的 ,因而 每 个 因子 的 自由 度 等 于 该 因子 的 水 平 数 
减 1. 

《2) 两 因子 交互 作用 的 自由 度 等 于 两 因子 的 自由 度 线 积 . 

faxn—= faX fa 

一 般 原则 :两 个 水平 的 因子 ,由 于 每 个 因子 的 自由 度 为 (n 一 
1)* 所 以 这 两 个 因子 的 交互 作用 的 自由 度 为 (2 一 17X (一 1) ,此 时 
交互 作用 应 占 (一 1)X (x 一 1) 列 . 


17. 4. 3 ”水平 数 相向 的 有 交互 作用 的 正 交 设 计 


例 17.4.2 某 产 品 的 产量 取决 于 3 个 因子 4,8,C, 每 个 因子 
都 有 两 个 水 平 ( 表 17. 14). 试验 指标 为 产量 , 越 高 越 好 . 


表 17.14 


这 蚌 3 因子 ,2 水 平 的 问题 ,要 考虑 变 互 作用 ,利用 表 17.13,3 
个 因子 4,B:C 要 占 3 列 , 它 们 之 间 的 交互 作用 AXB.AXC,BX 
C 又 占 3 列 , 共 占 6 列 , 可 用 正 交 表 La(2') 安 排 试 验 .车 将 A4,B 分 
别 放 在 第 1,2 列 , 队 表 17. 13 查 出 AXB 应 在 第 3 列 ,因此 己 就 不 
能 放 在 第 3 列 . 现 将 安放 在 第 4 列 , 由 表 17. 13 益 出 4XxcC 应 在 第 
5 列 ,BXC 应 在 第 6 列 . 用 直观 分 析 法 把 交互 作用 当成 新 的 因子 
看 待 . 当然 在 做 试验 时 仍 用 4,8,C 的 在 正 交 表 中 的 水 平 搭配 作 
试验 ,而 在 4XB,AXC,BXC 等 列 中 的 各 水 平 只 是 用 于 分 析 试 
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验 结 果 的 ( 表 17. 15). 


142.5 141.0 134.5 133.5 141.0 140.5 


137,.5 139.0 145.5 146.5 139.0 139.5 


11 13 2 1 | 
2 水 平 人 1 水 平 1 水 平 


分 析 结 果 : 从 极 差 看 ,影响 最 大 的 是 C 因子 ,以 2 水 平 最 好 . 
其 次 是 AXB, 也 以 2 水 平 为 好 . 青 其 次 是 因 于 4, 以 1 水 平 为 好 ， 
有 影响 较 小 的 因子 是 B 因子 ,其 第 1 水 平 与 第 2 水 平 差不多 - 因此 ， 
C 取 第 2 水 平 ,4XB 取 第 2 水平 ,4 下 第 1 水平 ,从 表 中 看 ,此 时 
B 因子 取 第 2 水 平 的 试验 ,也 即 第 4 号 试验 是 个 较 优 的 方案 . 从 8 
个 试验 中 看 ,这 个 方案 确 是 8 个 方案 中 车 好 的 一 个 . 
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17.$ 正 交 设计 的 方差 分 析 


用 正 交 表 安排 m 个 因子 的 试验 ,试验 总 次 数 为 4 ,试验 结 果 
(指标 ?为 zyzay…vz 假定 每 个 因子 为 n, 个 水 平 ,每 个 水 平 在 a 
次 试验 中 出 现 , 则 = 一 az， 


17. 5. 1 离 闫 平方 和 
公式 17.5.1 总 离 差 平方 和 5; 


Si:=W—P 
一 1 亡 
其 中 T= Or, 


公式 17. 5.2 各 因子 离 差 平方 和 
设 4 因子 安排 在 第 ! 列 ,用 六 表示 因子 4 第 i 个 水 平 的 第 j 
个 试验 的 结果 .i 一 1,2,…… 和.37 一 121sa 


i 
a 


则 有 VD Ds, 


i=1 j=1 上 = 
和 4 一 a 一 也， 
其 中 Ss = 
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多 一 1 
EE 

上 ,一 > ij 
jel 


公式 17.5.3 试验 误差 的 离 差 平 方 和 Ss 
ST 一 由 全 十 交 十 Sk 
Se 二 Sr 一 福 因 十 交 


17. 5. 2 计算 自由 度 


了 一 试验 总 次 数 一 1 一 一 | 

各 因子 自由 度 ， 

fu 二 因子 水 平 数 一 1 = 一 1. 

{如 两 因子 交互 作用 自由 诬 : fx 二 fafa) 

公式 17. 5.4 试验 误差 自由 度 fs 
fe = fg — /1 


17. $5. 3 ”计算 平均 离 差 平方 和 


公式 17.5.5 
SY 
因 于 平均 离 差 平方 和 一 四 重音 加 当下 集合 ， 


公式 17. 5.6 
+ SE 
试验 误差 的 平均 离 差 平方 和 二 过 验 并 基 09 关 生字 和 一 


17. 5. 4 下 值 的 计算 


公式 17. 5.7 
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Fw 因子 的 平均 离 差 平 方 和 Fifa fs). 


”试验 误差 的 平均 离 差 平方 和 
如 果 Fn 汪 Felf ;fz); 则 认为 该 因子 的 影响 显著 . 如 时 Fn 一 


Ff ,fe); 则 认为 该 因子 的 影响 不 显著 . 
例 17.5.8 为 提高 基 产 品 的 质量 ,需要 考虑 3 个 因素 :反应 
温度 ,反应 压力 和 溶液 浓度 ,每 个 因素 都 取 3 个 水 平 ( 表 17. 16). 


考虑 因素 之 间 所 有 一 级 交互 作用 ,要 找 出 较 好 的 工艺 荣 件 . 
这 是 3 因素 3 水 平 的 试验 ,每 两 个 因 束 的 交互 作用 要 占 两 列 ， 
3 个 因素 的 所 有 交互 作用 共 占 6 列 , 加 上 因素 4,8,C, 所 以 在 正 交 
表 中 共 占 9 列 . 应 选 正 交 表 Lai (C3), 并 查 该 正 交 表 的 交互 作用 
表 , 其 表 藉 设计 如 下 : | 
表 17,17 Lxw(3*) 有 交互 作用 的 表 头 说 计 


现 将 正 交 表 Lo(3") 去掉 9,10,12,13 列 , 连 局 试验 结果 、 分 
析 计 算 过 程 列 在 表 17. 18 中 ,此 例 中 每 个 因子 有 3 个 水 平 ,因此 
=3, 每 个 水 平 下 都 做 9 次 试验 ,因此 4 二 9. 总 共 做 试验 次 数 为 ”一 
Ana 9K3=27 次 . 
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因子 | BAXBY, (AXB, OC (AXC, AX (BX (BXO, 指标 
试验 号 产 基 
1 1 1 1 1 1 1 1 1 1 1. 30 
2 1 1 1 1 2 2 2 2 2 4 
3 1 i 1 1 3 3 3 3 3 7. 23 
4 1 2 2 2 1 1 1 2 3 0D. 50 
加 1 2 2 2 2 2 2 3 1 3. 67 
6 1 2 2 2 3 号 3 1 2 6. 23 
7 1 3 3 3 1 ] 1 3 2 1. 37 
8 1 3 3 3 2 2 1 3 1 ?3 
9 1 3 3 3 3 3 3 2 ] ?07 
10 2 1 2 3 1 2 3 1 1 0. 47 
11 2 1 2 3 2 3 1 2 2 3.47 
12 2 1 2 3 3 1 2 入 3 6. 13 
13 2 2 3 1 1 2 3 2 3 0. 33 
14 2 2 3 1 2 号 1 3 1 3, 40 
15 2 3 3 1 3 1 2 1 2 5. $0 
16 2 3 1 2 1 2 3 3 2 总, 63 
17 2 号 1 2 妆 1 1 3 3.97 
18 2 3 1 2 3 1 2 2 1 6. 50 
19 3 1 3 2 1 3 2 1 1 0. 03 
20 3 1 3 2 2 1 3 2 2 3. 40 
21 3 1 3 2 3 2 1 3 3 6. Bu 
22 3 2 1 3 1 3 2 2 3 0. 57 
23 3 2 1 3 2 1 3 3 1 3. 97 


人 9 
Qian = : C39. 9 和 7 二 34 66: 上 33、 047) =375. 3 
Lsd.21+33. 1 二 3 30:) =375.20 


Quexe = 二 (33， 33? 十 33. 0 人 4 十 34,272)》 一 375. 22， 


9 
Quine = 主 (32. 987 十 33.43: 十 34. 237) 一 375. 22. 
再 计算 出 : 


S414= Qa -P=2.04, 

Sp Qa—P=1.17. 

SiC—=Qr— P=155. 87， 

Saxa—=Seaxmit iar, — am, P+ a, —P) 
—=Qaxm TQ m, — 2P =1. 32. 

Saxe—= Qaxc t+RQaxo, 2D=0.28. 

Saxc 一 和 Qtaxcy 十 所 axc 一 2 一 0 18. 


总 平方 和 W 二 》)x? 二 536.33. 
=] 
Si:=W—P=161. 20. 


SE 一 Sr 一 合同. 交 
一 Sr 一 (S4 十 3S8 十 Sec 十 Saxs 十 Saxc 十 Saxc) 
一 0. 34. 
计算 自由 度 : 


fa= fs=fr=3—1=2. 
xs 一 sr 一 sc 一 2X2 一 4. 
fu=n—1=27—1= 26, 
fe=fys— furx—26— (2X3+4X3)=8. 
计算 平均 离 差 平方 和 及 FF 值 并 列表 如 下 : 
由 于 这 个 例题 的 试验 指标 是 产量 ,当然 越 大 起 好 . 所 以 最 优 方 
案 应 取 各 因子 中 下 的 最 大 值 所 对 应 的 水 平 . 从 表 17. 19 中 看 出 ， 
因子 4 应 取 第 1 水 平 4, 因子 B 应 取 第 3 水平 8;, 因 子 C 应 取 第 
3 水平. 
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囊 17.19 


值 临界 值 


20. 40 | Formnt2,16) 
11. 60 一 6. 23 
1559. 80| Fw {4,16) 
6. 60 一 4.77 


交互 作用 AXB 也 是 显著 的 ,但 是 由 于 4XB 占 两 列 , 真 观 分 
析 法 有 些 困 难 , 天 此 把 4 和 五 的 各 种 组 合 试验 结果 对 照 起 来 分 析 
如 表 17. 20 所 示 ， 


表 17.20 


从 表 17. 20 看 出 , 当 4 取 第 1 水 平 , 召 取 第 3 水 平时 试验 结果 
为 13.17, 是 所 有 结果 中 最 大 值 . 这 与 单独 考虑 因子 4,8 时 所 得 
结果 是 一 致 的 . 所 以 优 方 案 应 为 A1BsC;. 
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18 多 元 分 析 CI) 


多 元 分 析 (multivariate analysis) 是 一 类 处 理 多 元 数据 统计 方 
法 的 总 称 , 是 统计 学 中 一 个 非常 重要 的 , 包 食 丰富 理论 成 果 和 众多 
应 用 方法 的 分 支 . 

在 第 11 一 13 章 中 ,着 重 讨论 的 是 有 关 一 元 统计 的 概念 和 方 
法 ,其 中 待 处 理 的 变量 只 有 一 个 , 在 第 14 章 回归 分 析 和 第 15 章 方 
差分 析 中 ,虽然 涉及 到 多 个 变量 ,但 总 假定 其 中 只 有 一 个 是 随机 变 
量 , 其 祭 的 变量 都 是 可 以 精确 测定 的 . 但 在 实际 问题 中 常 要 同时 研 
究 多 个 随机 变量 ,这 些 随机 变量 间 的 相互 关系 和 相互 影响 ,这 就 要 
研究 多 元 分 析 . 

多 元 分 析 的 内 容 比 一 元 统计 去 丰富 得 多 . 一 方面 , 某 些 一 元 统 
计 的 方法 可 以 经 过 适当 的 推广 应 用 于 多 元 数据 处 理 . 例如 多 元 回 
归 分 析 与 多 元 方差 分 析 等 . 由 于 经 过 了 推广 ,这 些 方法 的 内 涵 更 丰 
富 了 , 另 一 方面 ,多 元 数据 本 身 引 出 了 一 些 在 一 元 数据 处 理 方法 中 
不 曾 提 出 的 问题 ,例如 斌 究 多 个 变量 之 间 的 相互 关系 饲 题 . 于 是 ， 
便 产生 了 主 成 份 分 析 , 因 子 分 析 及 典 则 相关 分 析 等 方法 . 

经 典 的 多 元 分 析 理 论 是 建立 在 数据 服从 正 态 分 布 的 假定 前 提 
上 的 . 这 样 的 假定 带 来 一 系列 理论 分 析 上 的 好 处 . 例如 ,不 相关 等 
价 于 独立 性 ,条 件 期 望 具 有 线性 形式 及 中 心 航 限 定理 保证 了 在 大 
样本 的 前 提 下 正 态 性 得 以 成 立 等 .因此 ,在 正 态 假定 下 建立 起 的 多 
元 统计 方法 具有 理论 上 严谨 及 计算 上 以 线性 问题 为 主 的 优点 . 但 
是 随 着 统计 学 的 深入 发 展 及 实际 问题 提出 不 同 的 要 求 , 一 些 新 的 
多 元 统计 方法 产生 了 . 这 些 方法 通常 不 要 求 数据 服从 正 态 分 布 , 并 
根据 实际 问题 的 需要 给 出 不 同 的 模型 和 灵活 多 变 的 计算 方法 ,以 

= 328* 


取得 满意 的 实际 效果 . 但 是 ,这 些 新 方法 的 缺点 是 尚 缺 乏 坚实 的 理 
论 基 础 . 


18. 1 多 元 正 态 分 布 理论 


18. 1. 1 多 元 正 访 分 布 

设 + 基 p 元 随机 变 基 ,其 均值 向 量 为 4; 方差 什 阵 为 瑟 

定义 18.1.1 若 对 任意 卢 元 常 向 量 a,a'x 服从 一 元 正 态 分 
布 , 则 称 x 服 从 元 正 态 分 布 , 记 作 x~N,(p, 夺 )， 

注 1 在 上 述 定 义 中 包含 了 如 下 的 假定 :常数 被 看 成 服从 退 
化 的 正 态 分 布 . 

注 2 当 方 差 矩阵 三 为 半 正 定时 , 常 称 * 服从 退化 的 疡 元 正 

注 3 在 不 致 引起 混淆 的 场合 , 常 将 下 标 p 省 略 , 记 作 工 ~ 
CR 至 )， 

定理 18.1.2 设 x~N(4, 吧 , 则 其 特征 函数 可 表 为 


gl) 一 exp (er 一 | ， 


其 中 让 一 (1,…,t,) 为 任意 p 元 实 向 量 ， 
定理 18. 1.3 设 x~N(, 避 ,正定 , 则 x 有 密度 函数 


f(x) = {ony x | exp{— 去 (x — TE Di, 

定理 18. 1.4, 设 x~N,(C 避 ,4 为 一 个 gxp 常数 算 阵 ,e 为 
一 个 & 元 常 向 量 , 则 

y= A 二 Tc NCAn cAZA'), 

推论 18. 1.5 正 态 随机 向 量 的 任何 子 向 量 仍 服从 正 态 分 布 . 
特别 , 设 x 一 NG 3 , 刚 x 的 第 :个 分 量 增 一 Ne 其 中 心 为 
的 第 i 个 分 量 ,0 为 的 第 i 个 对 角 元 素 . 
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推论 18. 1.6 

(1) 设 z 一 No 下 ,上 且 王 >0( 正 定 ), 则 

y 二 型 (x 一 让 ~~N (0,1), 其 中 型 为 的 对 称 平方 根 , 即 
[ 吉 ) 一 z, 开 对称 

(2) 设 x 一 NGI0), 且 G6 为 gxp 算 阵 ,满足 GO 一, 则 
Gr~ NOH aT,). 

定理 18. 1.7 (1) 多 元 正 态 向 量 的 个 互 不 相交 的 子 向 基 是 
相互 独立 的 , 当 且 仅 当 它们 是 两 两 不 相关 的 . 

(2) 服从 联合 正 态 分 布 的 两 个 向 量 是 相互 独立 的 , 当 且 仅 当 
它们 的 分 量 之 间 是 两 两 独立 的 . 

推论 18. 1.8 (1) 若 x~NO, 怠 , 则 Ax 和 Bx 相互 独 谋 , 当 
且 仅 当 A287 一 人 0. 

(2) 若 z 一 N40:T), 且 G6 为 任 一 行 标准 正 交 第 阵 , 即 CO = 
7, 则 Gx 与 (一 GTG)x 独立 . 

定理 18.1.9 设 x~N,(, 避 ,x 一 《xT 1x7), 其 中 x 种 x 分 
别 为 x 的 7 元 和 gq=p 一 r 元 子 向 量 . 记 站 .一 三 一 瑟瑟 机 ,一 


pp 
| ,= 二 ), 赐 


Zo1 222 
XI ~ N(CH) 
WwW 
其 中 避 . = 同一 和 全 Zo. 1 二 2 一 2 2123 
且 思 与 x. ;相互 独立 . 
定理 18. 1. 10 在 定理 18.1.9 的 假定 和 记号 下 有 :给 定 x! 的 
条 件 下 如 的 条 件 分 布 为 
.Ce 十 En Ei x; 一 HZ ), 
推论 18. 1, 11 设 x= (x sXe ~ Ne CH 2) :其 中 
oi Pads 
Pods 0 


贞 一 《Ap ,= 
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则 在 给 定 x 的 条 件 下 xs 的 条 件 分 布 为 
Ni toe pp)|. 


定 六 18. 1.12 设 谍 ,为 取 自 总 体 N ,Cp 的 简单 样 
本 . 记 轩 二 (xX 称 为 取 自 Nb 下 的 数据 矩阵 ， 


定理 18.1.13 设 X 为 取 自 久 ,(p, 允 的 数据 害 阵 , 记 二 二 


XT ;其 中 1 一 民 ,…,1)", 则 EN ,二 下 |. 又 记 5 一 二 XTHX, 其 


中 gl x 与 相互 独立 . 
定理 18.1.14 设 x~N,G02), 则 C(x- 一 HH) ~ 
tp), 


18. 1.2 威 小 特 分 布 


在 多 元 统计 中 , 威 沙 特 CWishart) 分 布 的 作用 相当 于 一 元 统计 
中 的 六 分 布 . 

定义 18.1.15 设 mX 记 条 阵 王 为 取 自 0, 琶 的 数据 矩阵 ， 
则 M 一 X'X 的 分 布 定义 为 具有 自由 度 和 标 度 矩阵 芋 的 威 沙 特 
分 布 , 记 作 夺 ~~W,(,n). 特别 当 2= 了 ,时 , 称 作 标准 威 沙 特 分 布 . 

推论 18. 1. 16 [V1(o,n) 与 2: 究 tn)y 有 相同 分 布 . 

定理 18.1.17 设 导 ~W,(F,n) 且 8B 为 pxa 常 矩 阵 , 则 
BMB~W.(B' ZB,n). 

推论 18. 1.18 设计 ~W(2,n), 则 

(1) 对 的 任 一 对 角子 阵 服从 威 沙 特 分 布 . 

(2) ETME YW,(,n). 

(3) 若 王 二 1 ,日 pxXgq 阵 BB 满足 BB 二 1, 则 BMB~W, 
(Fn), 

定理 18. 1.19 设计 一 训 ,(Z,2), 卫 6& 为 任 一 上 元 常宁 量 , 满 
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足 GT38 天 0 则 TaaAre32 一 好 (Ca)， 

推论 18.1.20 设 模 一 妈 CEa ,mi 为 用 的 第 i 个 对 角 元 , 则 
mor 放 (nm) ;其 中 oi; 为 二 的 第 i 个 对 角 元 . 

定理 18.1.21 设 MM~W,tSn) i 二 ly 且 和 Mi 


相互 独立 , 则 3 一 W,(3,n) ,其 中 到 二 2 

定理 18.1.22 柯 赫 兰 (Cochran}) 定 理 设 半 为 取 自 NN， 
(0, 瑟 的 2X 户 数据 阵 ,C 为 4 阶 对 称 阵 , 则 

C1) XTCX 的 分 布 等 价 于 #4 个 独立 WW,(Z,1) 算 阵 的 加 权 和 的 
分 布 ,其 中 加 权 为 C 的 特征 值 . 

(2) TCX 具有 威 沙特 分 布 , 当 且 仅 当 C 为 暴 等 阵 , 吧 C=C. 
上 比 时 于 CX 一 W (2 vm 一 rk tC) =tr(C). 


(3) 设 5 一 廊 XTHX 为 样本 方差 阵 , 则 
HS ~ Wt2,n CO— 二)， 
定理 18. 1.23 设 节 为 取 自 NC,Z) 的 xnXp 数据 阵 ,C,…， 
Ci 为 二 阶 对 称 第 阵 , 则 NTC, ,ETC 为 相互 独立 的 , 当 且 仅 
当中 ,一 站 7 天 5. 
以 下 考虑 分 抉 的 威 沙特 矩阵 . 先 给 出 下 列 的 记号 . 


陵 Mi | ” 四 212 | ” 

MM 二 * 一 + 

My MM,|,, Zz 2 p—r 
了 pp—r r —r 


Ms 一 Ms 一 Ma Mi Ms E20. = Bos — ZzEri Es. 
定理 18.1.24 设 MM~W,(2,2) n>; 则 
(1) Ms Wr 有 独 站 于 CM Ms). 
(2) 若 互 :一 0, 则 Mas 一 My. 二 MiMi Mu~W,-.(22o7), 且 
ai 及 好 .相互 独 立 ， 
记 
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M” = Ml 及 2 = Bl 

推论 18. 1.25 设 儿 ~W,(Z,n) ar, 刚 

(1) CM ~ .C22) 1! x 一 r) 且 独立 于 CM Ms) 

(2) 车 于 :==0; 刚 Mz 一 (M3) lI~W, (Er) Ms ~ 
CM 1, 和 和 CM*)-! 相 互 独 立 . 

定理 18. 1.26 设 儿 ~ 人 W,(E,n) 自 n>p; 则 

(1) 对 任意 非 零 p 元 常 向 量 , 比 值 

全 la/a Ma ~ Xn—p 1),° 

特别 , 设 ww 和 分 别 为 朋 "1 和 三 ' 的 第 i 个 对 角 雹 ; 风 /* 
~(n—p 十 1). 

(2) mr" 与 对 中 除了 第 i 个 对 角 元 ma 之 外 的 所 有 元 素 狸 立 . 

定理 18,1,27 设 肝 ~~W,(2,n) 且 nn 六 p; 则 | 训 | 的 分 布 等 价 
于 | 三 | "Tp 的 分 布 , 其 中 gn—i+1) 1 二 15 力 , 且 补 1， 
…*zs 相互 独立 . 


18. 1.3 了 3: 分 布 


T? 分 布 是 由 起 特 林 (Hotelling)? 于 1931 年 首先 进行 研究 的 ， 
其 作用 相当 于 一 元 统计 中 的 上 分布. 

定义 18.1.28 设 a=mdM 'd, 其 中 ~N,(O,,M ~ 
WtIm), 且 4 与 用 相互 独立 ; 则 称 a 的 分 布 为 具 参数 户 和 着 的 
了 分布, 记 作 a~T?(p,m). 

定理 18.1.239 设 x 与 几 为 独立 的 各 有 具 分 布 N, C4, 了 了) 及 
Wt,mm) 的 随机 变量 , 划 

mx — DM x oD ~ Tp,m), 
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推论 18. 1.30 设 互 为 取 自 NoC 瑟 的 2xp 数 据 和 矩阵 ,x 一 
二 XT1 为 样本 均值 ,5 一 十 X7HX 为 祥 本 方差 矩阵 , 则 
Cn Dr oe WS Xo Tipn 一)， 
上 式 左 端的 统计 量 常 称 为 了? 统计 基 ， 
定理 18. 1.31 T*(p,m)=- ep Flp,m—pt1). 
推论 18, 1.32 设 了 与 M 服从 定义 18. 1. 28 的 条 件 ， 则 
C1) |MI/IM+ dd | ~2| ;Cm—p+1), 3 ; 参数 为 


至 Cn 一 P+D ,到 | 的 8 分布. 

C2) drd| 1+ jr 3| ~x (Cm 十 1), 且 与 AM 14 相互 独立 . 

类 似 于 一 元 统计 的 两 样本 :统计 量 , 也 有 两 样本 的 统 
计量 . 

定理 18. 1.33 设 素 为 取 自 NN,(4, 避 的 n;Xp 数据 阵 ,i 二 1]， 
2. 若 加 = 此; 则 


CK) — KT Ky) ~ Tp 十 到 — 2), 

其 中 X14 分 别 为 两 个 样本 的 样本 均值 ,$ 一 (al 十 azSz77 
(aa 十 mz 一 2) .585 分 别 为 两 样本 的 样本 方差 阵 . 
18. 1. 4 基于 威 沙特 分 布 的 统计 量 


在 一 元 方差 分 析 中 常 遇 到 基于 独立 习 分布 随机 变量 比值 的 
统计 量 , 其 相应 的 分 布 为 分 布 . 在 多 元 统计 中 起 同样 作用 的 是 A 
统计 量 和 4 分 布 . 

定义 18.134 设 A~W,dm),B~W,(I,n) 相 互 独立 是 
m 主 pp. 称 


[AI/IA+B| = iA-'B|” 
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服从 有 具 和 参数 p,m 和 + 的 及 分 布 , 记 作 ACp ,m,n). 
定理 18. 1.35 A(cp,m,n) 等 价 于 [I 的 分 布 ,其 中 到,…， 


Ua 相互 独立 ,wu.~BB| (mtip), | +s 二 1], 

定理 18. 1.36 ACpsmyn) 二 nvm 十 n 一 志 ; 思 ). 根据 有 分布 
与 下 分 布 的 关系 ( 见 6.1.12) 有 

推论 18. 1. 37 


二 
.C27 CI— A mm) A nA pm 


(3) (1 一 vA(p mo AC sn 2) 
__p 加 
-pF C22Cm p 二 1)). 

(C4) (1— vA ma) vA mn) 
—— Fon,2Cm—1)). 

31—1 


定理 18.1.38 巴特 莱特 (Bartlett) 定 理 ”当天 一 ceo 时， 


x 
一 (m5 (pnt llogA(p m,n) eX (np). 


其 中 一 表示 依 分 布 收敛 . 

定义 18.1.39 没 A~W,CDm) ,mm 之 p:B~W,(1,n), 且 及 与 
B 独立 , 则 (4 十 8)718 的 最 大 特征 根 8 称 为 最 大 根 统计 量 (tbe 
largest root statistic) ,其 分 布 记 作 8(p ,m,n). 

推论 18. 1.40 设 辣 为 4 的 最 大 特征 根 , 则 最 大 根 统 计 
景 8 一 /十 41), 因 此 0<8< 人 1. 

推论 18. 1. 41 

[> Aapsm on? =n ma prpy. 


| 7ae, Mn) AC,m ny 


Fnsm), 


* 335+* 


Gpsmsl) _ 1—A(p,m,1) 
i—0(p,m,1) Atp ,m1) 


Flipsm—p 1). 


(3) 
Pp 
m—p+l 

18.2 参数 估计 


18. 2. 1 多 元 正 态 分布 的 参数 估计 


设 下 (rnX 思 ) 为 取 自 正 态 总 体 me 瑟 的 数据 阵 , 天 一 《Xi 
xy 记 


二 Fx, so= ED -DD 《18. 1) 
x 称 为 样本 均值 ,5 称 为 样本 方差 隆 
至 的 对 数 似 然 函 数 可 甫 为 如 下 形式 : 
LN) 一 一 六 log |2n2| 一 了 (三 19) 


一 六 (人 — Dr — MT). (18. 2) 


由 此 可 以 推出 # 和 的 极 大 似 然 佑 计 为 


请 一 于 ， 圭一 人 ， (18. 3) 
其 中 区 也 是 4 的 无 偏 估计 ,而 $ 不 是 的 无 偏 售 计 . 但 对 5 作 
一 修正 后 便 可 得 到 芋 的 无 偏 估计 ; 


Eine = eS = Te 0 — DT. 08.4) 
在 某 些 特定 的 场合 下 对 均值 上 和 方差 阵 王 会 有 一 些 约束 ,对 
Ri=r, (18,5) 
其 中 婧 为 gqXp 常数 阵 ,g 之 psr 为 9 维 常 向 量 . 
定理 18. 2.1 设 X(zXD) 为 取 自 Nsip,) 的 数据 阵 ,w 满 足 
约 东 条 件 (18. 5) , 则 的 极 大 似 然 估计 为 
。336 。 


b= — SR'CRSRT) RE — r). 
和 的 极 大 似 然 估 计 为 
mS+ xDD. 
约束 条 件 (18.5) 的 一 个 特例 是 
HH = ki , {18. 67 

其 中 为 给 定 的 5 维 常 向 量 ,& 为 未 知 参 数 . 这 相当 于 取 以 
为 (5 一])Xp 维 阵 ,rk CCR) 二 pp 一 1,Rio 一 0, 而 rf 二 0. 

推论 18. 2. 2 在 约 东 条 伴 (18. 下 .的 极 大 和 似 然 估计 为 

k= Hs AS 
定理 18. 2.1 中 的 上 和 推论 18. 2. 2 中 的 天 都 是 无 偏 估计 . 
对 方差 阵 ,我 们 考虑 下 述 约 昌 杂 件 
研一 三， (18.7) 

其 中 五 为 已 知 正定 阵 ,上 为 未 知 参 数 ， 

定理 18.2.3 设 症 (zsXp) 为 取 自 win 本 的 数据 阵 , 三 满足 
约束 条 件 (18. 7), 则 的 极 太 似 然 估计 为 

R= tr(S'$)/p, 

这 里 去 不 是 无 偏 估计 . 要 得 到 无 偏 估计 需 乘 系数 一 

以 上 讨论 的 是 样本 取 自 同一 总 体 时 的 情形 .下面 考虑 样本 取 
自 不 同 总 体 时 的 情形 . 一 般 ,我们 假定 样本 x、…,x, 相互 独 并 , 坟 
Nl) 为 数据 阵 ,如 果 对 点 和 
上 都 不 加 任何 约束 茶 御 ,就 得 到 退化 情形 ,有 妈 上 二 +, 玉 估计 不 存 
在 ;i 二 1,…,n. 因此 我 们 要 施加 约束 条 件 . 首先 我 们 假定 

至 : 


于 一 本 《18. B) 
|x。 
Ein X 力 ) 为 取 自 RN 号 的 数据 阵 ， Dn 一 大。 
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这 条 件 相当 于 数据 取 自 xm 个 正 态 总 体 , 每 个 有 不 同 的 均值 和 
相同 的 方差 阵 . 
定理 18. 2.4 在 条 件 (18.8) 下 ,方差 阵 王 的 极 大 似 然 知 计 为 


工 一 1 Sins,, 
好 这 1 


其 中 5; 为 XX; 的 样本 方差 阵 ， 

其 次 考虑 同 均值 ,不 同方 差 阵 的 情形 . 设 互 如 式 (18.8) 中 所 
A 

下:CmX 户 ) 为 取 自 No 五 ?的 数据 阵 ， 

k= l,m. (18. 9) 

定理 18. 2.5 在 约 东 条件 (18.9) 下 , 测 和 五 ,二 1,…,m 的 极 
大 似 然 估计 满足 方程 


一 [ Sn, 五 | | Sm Ex) 和 
#4=1 kl 
二 (了 
其 中 心 和 Se 分别 为 第 下 个 子 数据 阵 娩 的 样本 均值 和 样本 方差 
阵 ,下 一 1 ,好 
解 上 述 联 立 方程 可 用 迭代 法 : 先 用 品 作 王 , 的 初 值 ,由 此 解 得 


训 , 再 用 户 代 入 第 二 组 方程 求 得 新 的 工 , 如 此 反复 ,直至 所 求解 不 
再 变化 为 止 . 


最 后 我 们 考 虚 下 述 约 东 条 件 
下 二 (Xl 村 N,(H,2), 
= Oe, i= 1," ,Rn, 《18. 10) 


其 中 台 为 gaXxp 未 知 参数 阵 ,ei; 为 & 维 已 知 常 向 量 . 
定理 18&.2.6 记 C= (el,* 6) , 则 日 的 极 大 似 然 佑 计 为 


8 = (CIC) CTX, 
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18. 2.2 稳健 估计 


多 元 分 布 均值 向 量 与 方差 阵 的 稳健 估计 在 理论 上 比 一 元 分 布 
场合 更 为 复杂 . 本 节 只 推荐 几 种 较为 实用 的 方法 . 

噜 除 异常 值 (outlier) 的 一 种 方法 是 从 样 师 x,，,… ,x, 中 剔除 掉 
a100% 的 样品 . 其 具体 作法 是 先 给 定 一 个 小 的 正 数 a 一 0. 05 或 
0.01) ,对 第 j 个 变量 的 样本 值 x,,k 一 1,…,n, 别 除 最 大 的 Z5* 


个 , 刚 除 最 小 的 355 个. 如 果 对 某 个 变量 产 伴 品 入 ,是 在 被 剔除 
之 列 , 则 整个 样品 x; 被 噜 除 . 这 样 全 部 = 个 样品 被 剔除 的 个 数 不 
超过 an. 余下 的 不 少 于 (1 一 a)n 个 样品 可 用 来 计算 其 样本 均值 ,加 
权 为 17C1 一 oa, 作为 均值 向 量 的 稳健 估计 . 
另外 一 种 值得 推荐 的 求 均值 向 其 的 稳健 估计 的 方法 是 求 广 满 
足下 述 方程 . 
Dna = map lx oA’, C18.11) 


其 中 | 加 一目 为 欧 氏 模 ,{ jw 一 pl =[ 3 Cw 一):]j YE 


[1,2]. 当 Y<2 时 ,异常 值 的 影响 被 消 弱 5 见 14. 36). 但 另 一 方面 ， 
当 7Y 较 小 (接近 1) 时 ,估计 的 精度 也 不 够 好 . 一 个 折 中 的 建议 是 令 
”=3/2, 

下 面 介绍 -… 种 比较 实用 的 样本 方 莽 阵 的 稳健 估计 方法 . 

第 1 步 . 给 出 样本 均值 上 的 … 个 稳健 估计 可 以 采用 上 述 两 
种 方法 之 一 ). 将 个 样品 按 与 只 的 欧 氏 距离 从 小 到 大 进行 排序 . 

第 2 步 , 从 样品 中 剔除 an 个 序号 最 大 的 ,a 为 事先 给 定 的 小 
的 正 数 , 余下 的 梯 曲 集合 记 为 RR, 计算 pz 阶 方 阵 

A= Dro Do— DY, 《18. 12) 


当 ( 一 n> 记 时 ,通常 可 保证 4 为 正定 阵 . 
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第 3 步 .计算 ‖ 妃 一 王 上 和 一 (一 六 7T4 (如 一 的， 一 1 
按 1 一 ax 的 值 从 小 到 大 对 样品 进行 重 排序 . 

第 4 步 . 对 事先 给 定 的 小 的 正 数 8, 按 第 三 步 的 重新 排序 剔除 
掉 8 个 序号 最 大 的 样 晶 , 余 下 的 (1 一 B)2 个 禅师 的 集合 记 为 了 . 
方差 阵 三 的 稳健 估计 由 下 式 给 出 . 


Sr nr nT 
re ey Dx — DT. (18. 13) 


全 


采用 剔除 异常 值 的 方法 村 造 均值 和 方差 阵 的 稳健 估计 时 ,都 
要 求 (一 2)nt 或 (1 一 B)n) 大 于 p, 从 实用 的 观点 来 看 至 少 要 大 于 
22 ,才能 使 所 得 估计 有 效 . 


18.3 假设 检验 


多 元 假设 检验 比较 一 元 假设 检验 问题 增加 了 许多 复杂 性. 首 
先 ,由 于 多 元 总 体 涉及 的 参数 较 多 ,因此 可 能 设置 的 假设 也 更 多 ， 
更 复杂 . 在 实际 同 题 中 ,要 根据 间 题 的 背景 来 设置 恰当 的 假设 是 一 
项 技巧 性 较 强 的 工作 . 其 次 , 当 给 定 了 假设 之 后 ,选择 一 个 好 的 检 
验 又 是 一 项 困难 的 任务 , 在 一 元 统计 的 假设 检验 理论 中 ,可 以 根据 
一 定 的 准则 ,在 给 定 的 检验 类 中 寻找 某 个 最 优 检验 ;而 在 多 元 假设 
检验 问题 中 ,由 于 上 述 的 复杂 性 ,是 几乎 不 可 能 的 , 本 节 将 重点 介 
绍 一 种 在 大 多 数 情 况 下 都 可 行 的 检验 方法 一 一 似 然 比 检验 . 


18. 3. 1 和 似 然 比 检验 


定义 18. 3.1 设 样本 于 二 (xl,… ,x,) ”有 似 然 函数 L(Y, 提 )， 
其 中 8 为 未 知 参数 向 量 , 设 
HgEn, Hem, 
分 别 为 原 假 设 和 备 择 假 设 , 则 定义 似 然 比 统计 量 dikelihood ratio 
statistic ) 汐 
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站 一 Ld, 
其 中 ,一 maxz (ED) + max, L(YX,0). 
gE DD, ge 


定义 18. 3.2 对 给 定 的 小 的 正 数 a€ (0;1) ,假设 检 验 问题 
吾 ; 对 HH 的 似 然 比 检 验 dikelihood ratio test) 有 拒绝 域 
Wo= ,ACKX) < ee}, 
其 中 < 由 十 式 确定 : 
supPe(E E WI—=a, 
GE 他 


似 然 比 统计 基 具有 下 述 的 重要 性 质 . 

定理 18. 3.3 设 参 数 空间 = 人 2 UD 为 户 中 的 一 个 区 域 ， 
2 为 下 的 一 个 > 维 子 区 域 ,r<9, 则 在 一 定 正则 条 件 下 ,对 Y 9€ 
1 一 2log4: 当 me 时 有 斯 近 分 布 驼 ( 一 六 ， 

似 然 比 检验 有 了 两 全 显著 的 优点 . 首先 ,由 于 似 然 比 统计 基 是 起 
亿 然 函数 极 值 之 比 构成 的 . 因此 ,在 各 种 不 同 参 数 的 不 同形 式 的 假 
设 检验 问题 中 给 出 了 一 个 统一 的 寻求 检验 统计 量 的 思路 . 其 次 ,由 
定理 18. 3. 3 知 , 在 相当 广泛 的 分 布 类 中 ,一 2log4 有 渐 近 尖 分布 ， 
因此 在 大 样本 的 前 提 下 , 似 然 比 检验 的 拒绝 域 比较 容易 确定 . 

下 面 的 小 节 将 着重 讨论 ; 单 正 态 总 体 的 均值 检验 ,多 正 态 总 体 
的 均 秆 检验, 正 态 总 体 的 方差 阵 的 检验 及 均值 的 联合 置信 区 间 的 
问题 . 


18. 3.2 单 正 态 总 体 的 均值 检验 


设 下 = (xy) 为 取 自 正 态 总 体 Nj (pw, 避 的 独立 同 分 布 
样本 矩阵. 
方法 18.3.4 当 王 已 知 时 ,检验 假设 
和 0 一 Hos Hh 天山 ， 
记 4 为 似 然 比 统计 量 , 有 
— oga =n(x Oo WE x oOo Hh). 
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由 nm (x 一 瞩 ) ~ 和 N,(0, 恕 , 据 定理 18.1.14 知 ; 
— 2logaA ~ YCp), 
因此 对 给 定 的 水 平 a, 指 绝 域 为 
W = {— 2logA > c}, 

其 中 为 尖 (p) 的 上 a 分 位 点 . 

方法 18. 3-5 当 三 未 知 时 ,检验 假设 

五 一 Wh Hi 尖 贞 . 
此 时 有 
— 2logai = nlogl 1 十 i ， 

其 中 

T= a Som) Tp Oo 1), 
称 为 替 特 林 单 样本 T? 统计 量 , 因此 ,水 平 的 拒绝 域 为 (注意 到 
一 2log2 是 T? 的 严格 单调 增 函 数 ): 

W = {T:»>c}, 

其 中 cc 为 TI(p,n 一 1) 的 上 a 分 位 点 . 当 7? 分 布 表 不 易 找到 时 ,可 
利用 I? 分 布 与 六 分 布 的 关系 5( 见 定理 18.1.31) 去 查找 下 分 布 瑚 
来 确定 e. 

下 面 进一步 介绍 关于 均值 4 的 复杂 假设 的 检验 问题 . 在 关于 
4 的 窒 验 中 常会 检验 册 的 某 个 {或 某 些 ) 线 性 组 合 是 否 等 于 基 个 
(或 某 些 ) 给 定 的 值 ;或 比较 其 中 若干 个 分 量 是 否 相等 ;或 考虑 # 是 
否 与 村 个 给 定 的 向 量 成 比例 . 上 述 假设 问题 可 统一 地 表示 为 如 下 
的 检验 假设 问题 

Ho: Rn 一 r， (18, 14) 

其 中 下 为 (gXp) 常 数 阵 ,rkCR) 一 gsr 为 9 维 常 向 量 . 

方法 18. 3.6 当 芋 已 知 时 ,检验 假设 (18.14), 此 时 , 似 然 比 
统计 量 有 形式 ， 

— 2logA ~— n(Rx — ry (RERT) RY — r) ~ KC). 
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由 上 式 便 可 确定 拒绝 域 . 
方法 18.3.7 当 王 已 知 时 ,检验 假设 
Ho: 8 一直 所 ;对 某 个 下 成 立 ， 

其 中 必 为 常 向 量 , 这 是 式 (18. 14) 的 一 个 特例 . 即 相当 取 尽 为 ( 疡 一 

1)X 疡 阵 , 忍 的 各 行 都 与 内 正 交 ,而 取 r 二 0. 此 时 可 推出 

一 2loga = nx FE Eo (ME) WME x ~ Xp Oo 1), 

方法 18. 3.8 当 三 未 知 时 ,检验 假设 (18. 14) 

此 时 有 


一 2ogA 一 mlogfl + dS 3)， 
其 中 加 一 SS 有 (有 RS 六 (CR 一 r)， 


dS id — (RX — rT (RSRD) (RE — 7) ~ (gn 1). 


由 于 一 2log4 是 dS 3 的 严格 单调 增 范 数 ,容易 用 人 3 3 来 确定 
拒绝 城 . 

方法 18. 3.9 当 研 来 知 时 ,检验 18. 3.7 中 的 假设 . 

此 时 有 


一 2togA 一 nlog| 1 十 | ， 


其 中 
一 一 931 — COAST) TipuT}S x 
~ Tp — Dn 1), 
因此 皂 绝 域 为 WW 二 {7?>>e}. 


18. 3. 3 甸 正 态 总 体 的 均值 检验 


设计 ;CnX 思 ) 为 取 自 总 体 Nm) 的 数据 阵 ,i 二 1 ,… , 尖 . 
方法 18. 3. 40 在 三 =… 一 五 的 条 件 下 ,检验 假设 
Ho = =. 
为 给 出 似 然 比 统 计量 , 先 规定 如 下 记号 , 记 工 和 S$; 为 半 , 的 样 
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本 均值 和 样本 方差 阵 ,i 二 1,…,k&. 又 记 二 个 样本 的 侣 样本 为 
= CX, KET. 
合 样本 的 样本 均值 为 x, 样 本 方差 阵 为 5. 则 似 然 比 统计 量 有 形式 


| 到 | 2 1 雪 
2= {Tis} = I7 wl, 


其 中 有 = 2 2， 'T 了 一 n$.T 称 为 全 离 差 阵 ,;W 称 为 组 内 离 差 阵 . 
记 
B=T—W= Dn — DED", 

称 为 组 间 离 差 阵 . 

定理 18.3.11 |T "8|=|1(8 十 W) WwW| 一 |I 二 W718|7' 服 从 

由 上 述 4 的 表示 及 定理 便 可 给 出 检验 问题 18. 3. 10 的 似 然 比 
检验 的 拒绝 域 . 

方法 18. 3. 12 ”两 样本 霍 特 林 开 : 检验 ”在 检验 很 设 18. 3. 10 
时 ,当时 ==2; 似 然 比 统计 鞭 


II+W-'B| -1 二 11 十 


一 1 


Te x WI — XE,) 


A1 十 1 
二 {1 十 7?}!， 

其 中 开 一 下 (十 ma 一 2) 为 两 样本 T? 统计 量 . 

在 此 特殊 场合 下 ,但 然 比 检 验 转 化 为 工 检验. 

方法 18.3.143 当 互 至 不 相等 且 未 知 时 ,检验 假设 

Hoys th = = Wh. 

这 是 一 元 统计 中 页 伦 斯 - 费 希 尔 (Behrens-Fisher) 问 题 的 推广 . 做 
然 比 统计 量 有 形式 


再 由 
一 2logA 一 之 [aeg| 二 二 tC En,) 
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十 大玉 一 站 7 下 (太一 站) 一 地 np 
其 中 忌 和 互 ,…， 到 满足 下 列 联 立方 程 ， 
~ i < 
b= (on (Dn HE), (18. 15) 
?一 人 i=] 


= ST FO DE CO 
解 上 述 方程 组 可 用 达 代 法 : 先 用 8, 作 互 的 初 值 ,由 此 解 得 
再 求 得 新 的 三 ,如 此 多 次 选 代 , 直 至 所 求 的 解 收 伊 为 止 ， 
18. 3, 4 方 问 矩阵 的 检验 


设 数据 阵 下 om 和 如 ) 取 自 总 体 Nn, 台 . 
方法 18. 3. 14 在 # 未 知 的 条 件 下 ,检验 假设 
Ho: 三 一 Zo. 


似 热 比 有 形式 
一 ?log4 = zt B'S) — nlog|5 S|— np. 
一 ?21og 的 分 布 是 非常 复杂 的 ,但 由 定理 18. 3.3 知 ,一 2logA4 
有 渐 近 分 布 好 | 参 (Zp 十 1)) ,因此 当 较 大 时 ,可 用 此 分 布 近 似 
计算 此 检验 的 拒绝 域 . 为 了 更 精确 起 见 ,我 们 可 用 (1 一刀 交 


| 去 zCe+D| 来 作 -- 2log4 的 渐 近 分 布 ,其 中 


昌 


| 2 _ 
| 22 十 1 22ijjso 1). (18. 16) 


当 ” 较 小 时 ,可 查 工 (wyv) 表 ， 
方法 18. 3. 15 球 性 检验 ” 考 虚 如 下 的 检验 问题 ， 
五 一 好 ,其 中 在 为 某 正 数 ， 
这 假设 相当 于 说 各 分 量 相互 独立 且 有 相同 方差 ,这 时 似 然 比 
有 形式 
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— 2logA = np(tts 一 jogl8|l 一 1)， 

其 极限 分 布 为 好 | 到 (一 DC 十 2 | 

方法 18. 3. 16 ”检验 假设 万,: 五 :一 0， 
其 中 五 (9 X Cp 一 9) 为 了 的 右上 角子 阵 , 
211 Zs ? 
Zzl 2 | 
四 (ip: i 

显然 ,此 假设 是 要 检验 x 的 前 9g 个 分 量 与 后 pp 一 9 个 分 量 的 独 
立 性 问题 .此 时 似 然 比 有 形式 

A= | — SRSuSniSals, 


2 | 


日 
[po) 


其 中 
|e | 
号 一 和 
$21 22 
EAP gn 1— gg). 
其 水 平 的 拒绝 域 为 
太一 (到 cj 
c 可 通过 查 4 分 布 表 求 得 . 


方法 18. 3. 17 检验 假设 五 ,: 立 为 对 角 阵 . 

这 个 假设 是 要 检验 x 的 各 分 量 相互 独立 (不 相 美 ). 此 时 似 然 
比 有 形式 

一 2legAu = — nlog|R|, 
其 中 上 R 为 样本 相关 阵 , 其 渐 近 分 布 为 
到 5 (2p 11) loglR| ~ pCp 一 1， 

以 上 讨论 的 都 是 单 样本 的 方差 阵 的 检验 问题 .下面 讨论 多 样 

本 方差 阵 的 检验 问题 . 我 们 以 下 采用 18. 3.,3 小 节 中 的 记号 . 


方法 18. 3.18 当 训 ,把 未 知 时 ,检验 假设 
机 江 二 一气 
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这 检验 称 为 方差 阵 的 齐 次 性 (homogeneity) 检 验 . 似 热 比 有 
形式 

一 2loga = nlog|$| 一 Dn:logls;i = > ailog|187 S|, 
其 中 ,5; 和 SS 的 定义 见 18. 3. 3 小 节 . 

一 2log4 有 渐 近 分 布 六 ppt 一 1) |]. 

方法 18.3.19 检验 假设 

一 

这 检验 称 为 完全 齐 次 性 检验 . 似 然 比 有 形式 


lw| "loglS;| " 


— 2loga = nlog 


其 中 三 = > 8. 一 2]og4 的 渐 近 分 布 为 
| FpE— Dp + 3)). 


18. 3.5 并 交 检 验 


除了 似 然 比 检验 外 , 另 一 类 用 得 较 多 的 检验 方法 称 为 并 交 检 
验 (union intersection test)， 又 称 为 大 工 一 元 化 检验 (Cartificial 
univariate test). 其 基本 思想 如 下 . 

考虑 个 随机 向 量 r, 其 分 布 为 Fe, 其 中 8 为 未 知 参 数 向 量 . 
假定 轰 检 验 假设 可 ,: 8€ 9. 任 取 常 向 量 a, 令 和 一 wx. 设 在 Er 
下 ,ys 作为 一 元 变量 ,其 分 布 参数 8(6,a) (一 元 参数 ) 应 满足 五 。: 
8E au- 因此 当 给 定 4 时 ,在 多 元 场合 检验 厂 ; 的 问题 转化 成 在 一 
元 场合 检验 ou 的 问题 . 县 吾 ， 成 立 当 有 旦 仅 当 对 任 给 的 a, 五 成 
立 , 即 


H, = () Ho. (18.17) 


为 检验 玉成 立 与 否 , 假 定 我 们 由 ys 构造 了 统计 量 xe ,对 HH。 
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的 拒 饮 域 为 风 。= (zsge>c}. 由 518.47) 知 ,拒绝 任 一 个 瑟 w 都 意 
味 着 拒绝 IT, 因 此 ,我 们 可 得 到 五 ,的 拒绝 域 为 


Ww = Ww,. (18. 18) 
由 (18. 17),(18. 18) 两 式 便 给 出 这 种 检验 方法 的 名 称 ; 并 交 


限于 籍 幅 ,我 们 只 给 出 并 交 检 验方 法 的 两 个 例子 . 

例 18.3.20 设 匡 为 取 自 NjC4; 避 的 (rn Xp) 数 据 阵 , 王 未知 
用 并 交 法 检验 Hi:p 二 册 . 

记 y= Xe; 则 了 的 元 素 为 取 自 总 体 NCaThsa 3a) 的 独立 同 分 
布 样本 ,相应 于 互 。 的 一 元 化 假设 为 日 w ;aH 二 a 加 ,熟知 ;对 Hw， 
通常 的 上 检验 为 令 

1 CO (yO— A) VSL nO— 1). (18. 19) 
其 中 3 为 y 的 样本 均值,S: 为 y 的 样本 方差 ,pp 二 aih 因此 ,于 vw 的 
拒绝 域 为 
W, = {> c). (18. 20) 
注意 , 因 共 的 分 布 与 a 无关 ,因此 在 上 式 中 ce 与 & 无关, 我 们 有 
ye 一 全) 人 一 和 
信访 站 


(18. 21) 


2 {n 
由 上 式 易 推出 
maxfi = mo Dx WS Oo = (18, 22) 
其 中 7 为 熟知 的 替 特 林 CHotelling) 单 样本 7” 统计 车. 因此 原 假 
设 互 , 的 拒绝 域 为 
W = (Ww,= {maxt, > c) = (人 > r}. (18. 23} 


由 (18, 22) 可 见 ,在 这 一 场合 并 交 检 验 与 似 然 比 检验 是 一 
致 的 ， 
例 18.3.21 设 工 为 取 自 Nt 瑟 的 (zzXDz) 数 据 阵 ,， 未 知 ， 
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用 并 交 法 检验 假设 瑟 , := 五. 
令 ? 如 例 18.3.20 中 定义 ,其 分 布 如 所 述 Hw;: a'29 一 qT Ba. 


一 元 统计 检验 的 拒绝 域 为 
WG 二 或 (18, 24) 
其 中 - 
LU na Sa/a' 2a. (18, 25) 
注意 Ui, 的 分 布 与 立 无 光 ， 因此 Ci 与 i 无 闫 ， 易 算出 
Iaxt7。 xl :minC = nd,. (18, 26) 


其 中 四 为 和 s 的 最 大 特征 根 ， 而 为 五 'S$ 的 最 小 特征 根 . 因此 
7 的 拒绝 域 为 
到 = UW.= 入 < 或 六 人 co (18. 27) 


在 这 场合 下 ， 并 交 检 验 与 似 然 比 检 验 不 同 . 
18. 3.6 联合 警 信 区 间 


并 安检 验 法 的 另 一 个 重要 应 用 是 可 用 来 构造 参数 的 联合 置信 
区 间 ， 

设 半 为 取 委 NG,(p, 怠 的 数据 算 阵 ,我 们 要 对 之 维 参 数 向 量 & 
给 出 一 个 水 平 为 1 一 a 的 联合 区 闻 . 设 W= (CA 要 给 出 区 
问 [a ,57 二 1 ,…s: 记 :使 得 

Pim EE Tasbilyi = 1 p21 a. 
更 一 般 地 说 ,对 上 的 任 一 线性 组 合 a'8, 可 给 出 区 间 么 ,使 得 
PlaHEeE dy oa)=1l— a 


1(18. 19) 知 
上 一 ear 一 由 viarSarca — 1) J. 
用 由 (18. 217 和 天 
£2 < TY. 
因此 若 取 适当 的 “使 得 
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PIO? 一 
于 是 有 


POEe,— 切 a 一 1 一 a 
因此 可 解 得 的 联合 区 间 为 
PlarweE [ax— baxt+H];O—Da)}=1l—a, 
其 中 ,对 固定 的 «有 


p= cla'sa/t 一 17]¥. 
18. 4 多 元 回归 分 析 


18. 4. 1 模型 及 参数 估计 


多 元 回归 分 析 (multivariate regression analysis ) 是 一 元 回归 
分 析 在 多 元 场合 下 的 推广 . 在 -元 统计 中 也 有 所 谓 多 元 回归 
(multiple regression)( 见 第 15 章 ) ,好 指 多 个 自 变 基 (又 称 预 报 因 
子 ) 对 1 个 因 变 量 (又 称 预 报 晤 ) 的 回归 ,确切 地 说 应 翻译 成 多 重 回 
归 . 本 节 所 说 的 多 元 回归 是 指 多 个 自 变量 对 多 个 因 变 量 的 回归 . 

设 有 4 个 让 变量 zi,… ,x4op 个 因 变 量 yi， ,yo 理论 上 可 以 
假设 y 与 = 之 间 有 下 述 关 系 ， 

二 十 Bx 二 Bixs 二 "十 Bry + Birt = 1 pt, 
又 设 当 给 定 x.,… ,zs 的 值 时 有 

Eté) = 0， COV(E Ej) 一 Fis i = lsp. 
上 述 二 式 可 用 和 矩阵 和 向 二 的 形式 表示 . 记 


一 【yp 一 《CT 


用 一 《RE 一 《Er9Er)y 
Da 机 | 
ap 机 Bap 


形 二 


La 
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于 是 ,多 元 回归 模型 可 表 为 


给 定 工 ie- covIEI) 一 三 

其 中 x 二 (1 ,x) ,一 (ao ,B= | 台数 入 了 和 方 基 陈 是 
待 估计 的 . 

注 1 在 18.4.1 给 出 的 多 元 回归 的 理论 模型 中 自 党 量 x 可 
以 看 成 是 可 精确 观测 的 ,也 可 以 看 成 是 随机 变量 , 在 后 一 场合 总 假 
定 x 与 # 独立 ,因此 这 两 种 观点 是 等 价 的 . 

注 2 和 丰 18.4.1 中 ,注意 y,x,W,E 均 是 行 向 景 ,这 是 本 节 中 为 
简化 表达 式 所 采取 的 一 种 特殊 处 理 力 法 ,希望 读者 注意 . 

设 对 二 和 了 经 过半 次 观测 ,得 到 ”组 观 潮 慎 ze ;yi 一 1.…， 
nn, 其 中 i 和 yw 分别 是 9g 维和 p 维 的 行 向 量 . 记 


、 i 
了 cy | i 
了 = ; 革 一 ，! 
a : x | 
了 ia ;| [xi 


于 是 我 们 可 由 18. 4, 1 所 给 出 的 理论 模型 得 出 多 元 回归 观测 
数据 的 具体 模型 为 


r=, | | +E= X H+E, 


模型 18. 4. 2 给 定 斑 时 ,至 ,的 各 行 不 相关 ,每 行 有 


均值 零 , 方 关 阵 2. 
其 中 上 上 为 各 元 素 为 1 的 列 疝 量 . 多 元 回归 的 一 个 最 主要 的 任 
务 就 是 从 具体 模型 18. 4. 2 出 发 ,给 出 套数 阵 B 的 估计 BB 一 Cp 
互 ) ,并 利用 下 述 的 预报 方程 


y= | | -三 (18. 28) 


上 预测 ， 在 > 的 新 观测 估 上 的 预报 值 
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下 面 给 出 -个 多 元 回归 的 例子 . 

例 18.4.3 趋势 面 分 析 设 了 表示 户 种 矿物 的 含 贡 . 在 某 … 
地 区 的 = 个 地 点 测量 y 的 值 ,得 到 观测 数据 ya，，…，'yoo?: 这 个 地 
点 的 地 理 府 标 分 别 记录 为 Cutw0) ,i 一 1,"…n. 理论 上 可 以 假设 y 
是 地 理 座 标 (u,) 的 连续 函数 ,因而 可 以 用 一 个 关于 ,wv 的 多 项 式 
来 道 近 . 设 用 二 次 多 项 式 来 通 近 ,于 是 在 18.4.2 中 我 们 可 取 


1 pa 


和 


a 
Bt Be ~ Bo [外 


Bi Ps oY Bs 
在 比例 中 ,数据 阵 中 的 每 一 列 不 是 代表 一 个 独立 变量 ,而 是 
分 别 代表 两 个 变量 4,v 的 零 次 项 ,一 次 项 ,平方 项 和 乘积 项 . 可 见 ， 
即使 当 自 变量 与 因 变 量 之 间 的 关系 不 是 线性 函数 时 ,模型 18. 4. 2 
仍 可 以 用 . 
在 模型 18. 4. 2 中 , 当 一 1 时 就 是 -元 统计 中 的 多 重 回归 问 
题 ( 在 这 里 我 们 不 用 多 元 回归 这 个 名 词 , 以 同 p 之 1 时 的 多 元 回归 ， 
相 区 别 ). 这 时 ,熟知 的 最 小 二 乘法 是 通过 最 小 化 残 差 平方 和 (CY 一 
XB)TCY 一 素 用 来 求 参数 向 量 的 估计 . 在 p 之 1 时 ,最 小 二 乘法 可 定 
义 为 求解 下 述 的 极 小 值 问题 
mintr{(Y 一 于 有 一 天 吾 ) }， (18. 29) 
同一 元 统计 的 结论 相似 , 式 (18. 29? 的 解 入 满足 下 述 的 正规 方 
程 (normal equation) 
。 352。 


XXB = XY. (18. 30) 
在 回归 问题 中 , 当 ww 足够 大 时 (n>g 十 1) ,我 们 总 假定 


rktX) 二 了 十 1. (18. 31) 
这 时 正规 方程 有 唯一 解 
B= XX :XY. (18. 32) 
为 进一步 将 (18. 32) 式 展开 ,我 们 给 出 下 述 的 表达 式 
Si- 一 下 | 了 工 一 L117)X, (18. 33) 
ss.= YI1— B11|Y, 
- 天 


3. 一 x"| 了 一 二 47| 7 -3T， 
1 上 


?一 二 LY， 工 一 LIX. 


其 中 本 为 #4 阶 单位 阵 ,1 为 1, 的 简 路 表达 式 . 在 (18. 33) 的 记号 
下 ;我 们 有 
HH 二 yy 一 XB， (18., 34) 
B= SS. 
利用 预报 方程 (18. 28) 及 上 式 , 可 得 到 Y 的 预报 值 为 


的 ri 一 1 1 ， 
F 一 ax)| 网 一 1y 十 [1 > 1 XB (18. 35) 


定义 18.4.4 t= 了 一 了 称 为 残 姜 (residuals) ,加 一 ErE 一 {TC— 
TCF 一 了 称 为 残 差 阵 . 


容易 推出 , 残 差 阵 如 有 表达 式 
QO= 5 — SN,,. (18. 36) 
利用 最 小 二 线 估 计 雄 和 和 残 差 阵 @ 可 以 给 出 参数 阵 B 和 方差 阵 
乏 的 无 偏 估计 . 


定理 18. 4. 5 在 模型 18.4. 2 下 
(1) 正规 方程 (18. 30) 的 解 互 为 召 的 无 偏 估计 ， 即 
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E(B)= B. 
(2) @/ tn 一 g 一 1) 为 方差 阵 的 无 篇 倘 计 ,有 妈 
(ra 一 一 1)) 一 三 
定理 18.4.6 记 3! 一 (8S5 ,一 Ca) ,又 记 
. LA 
B= (bb,) = | ; | ,由 
bs, 


CD VD | lL + | 
(C2) eov(BY, BD)=STE, 1,j—=1,2,0. 
(3) cov (hb =oSs, ij=1l2,1p. 
为 简化 计算 过 程 和 佬 于 分 析 , 我 们 可 举 先 使 数据 阵 球 中心 
化 , 即 假定 焉 述 条 件 满 足 ， 
YY 一 一 1 下 一 0 (18. 37) 
这 时 我 们 有 下 述 结 果 
推论 18. 4. 7 在 条 件 18. 37 下 有 
C1) §,, XTY, S$, =XY=S,. 
C2) py 二 y 且 4 与 BB 不 相关 . 
(3) O=Y"Y—np Hp— BB. 
在 模型 18. 4. 2 的 基础 上 ,可 进一步 假设 误差 项 服从 正 态 分 布 ， 
便 得 到 
模型 18. 4.3 正 态 模型 
. Hn 加 
二 网 +E=XB8+E, 


EE 的 各 行 独立 同 N,(0,3) 分 布 . 
定理 18. 4. 9 在 模型 18. 4. 2 及 rk( 于 ) 二 g 十 1 的 条 件 下 有 
(1) B 的 极 大 似 然 估计 为 最 小 二 浅 估 计 妨 ,的 极 大 似 然 估计 
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为 2 一 二 @. 
《2) 如 最 从 环 态 分 布 是 与 8 独立. 
(3) Q~W,n—g— 1,5). 


18. 4.2 相关 


回归 这 个 概念 可 以 说 是 从 条 件 期 望 的 角度 来 反映 一 个 (或 一 
些 ) 随 机 变量 对 另 一 个 (或 一 些 ) 随 机 变量 的 依赖 性 (dependence)， 
妇 一 方面 可 以 从 各 种 燃 型 的 (条 件 ) 方 差 和 (条件) 标准 差 之 比 的 稻 
度 来 看 随机 变量 之 间 的 依赖 性 和 相依 性 (interdependence) ,这 就 
是 招 知 的 相关 系数 概念 的 推广 . 本 小 节 介绍 一 些 在 多 元 分 析 中 有 
用 的 相关 概念 ,以 便 使 读 考 能 更 好 地 理解 问 归 分 析 模 型 . 

企 理 论 回 为 模型 18. 4. 1 中 , 设 p 等 于 1 ,假定 x 是 随机 变量 ， 
并 记 B=&:9 锥 列 向 量 , 则 我 们 有 下 述 结论 

定理 18. 4. 10 

(1 Vy =V rb) HV = Vrh) + 

C2) cor Cy Kb) max cority rp) 

Yb) 
Vey) 

由 此 定理 可 看 出 :第 一 ,y 的 方差 由 x6 之 方差 与 的 方差 之 
各 构成 ,而 y 与 即 之 相关 系数 的 平方 即 为 VCzb) 与 VCy) 之 比 . 第 
二 ,在 所 有 < 的 线性 组 合 中 ,xb 与 y 的 相关 系数 (绝对 人 ?最 大 . 因 
此 ,可 以 用 VCxb)/AV (Cy) 作为 xz 解释 y 的 “能 力 * 大 小 的 一 个 度量 . 
此 比值 越 大 , 则 说 明 x 解释 y 的 能 力 越 大 , 理 则 说 明 x 解释 y 的 
能 力 越 小 . 在 实际 中 ,我 们 用 V(xb)/V Cy) 的 样本 形式 . 在 回归 的 
具体 模型 18. 4. 2 中 , 设 =1, 记 号 = 用 卢 的 最 小 二 乘 估 计 志 代 
,出 XB 的 样本 方差 为 5,5S;.1S,,, 记 Y 的 样本 方差 为 5S,. 

定 凡 18. 4.11 yy 对 王立 的 复 相 关系 数 (muliiple correlation 


coefficicnt ) 为 


"3355 * 


Sy Sr/ Sys 

当 R 较 太 时 ,回归 模型 理想 (x 能 较 好 地 解释 y); 否 则 不 
理想 . 

定理 18. 4. 12 

(1) R: 二 1~(Q/S,,) ,其 中 久 为 残 差 . 

(2) 在 正 态 模型 18. 4. 8 之 下 ， 

好 ti—R: 
nan-—g—1 RR 

当 pp 二 2 时 ,在 理论 模型 18. 4.1 中 记 y= 二 Gy;y2) ;BB 二 (Bi ,bs)， 
由 于 模型 的 影响 ,与 之 间 的 相关 性 有 x 变量 的 作用 在 里 面 . 我 
们 要 进一步 考察 在 扣除 了 x 的 影响 之 后 ,入 与 % 之 间 的 相关 性 , 实 
际 上 上 是 关心 


~ Fn— gq 10).， 


COrtYy 一 TB ya 一 Ts) 
的 值 . 
在 样本 模型 18. 4. ?2 中 设 条 件 (18. 37) 成 立 ， 记 Y = ya), 
万 一 ( 记 ,8) 为 吾 的 最 小 二 乘 钻 计 , 又 记 


2 一 1 一 112， (18.38) 


定 亿 18.4.13 变量 ,ys 关于 + 的 偏 相 关系 数 (partial 

correlation coefficient) 定 多 为 
Rs. 一 eles/ Ce, || " llesl}. 

在 实际 问题 中 ,经 常会 碰 到 这 样 的 情况 :两 个 随机 变量 之 间 相 
关系 数 很 大 ,但 在 扣除 了 其 它 一 些 变量 的 影响 后 , 偏 相 关系 数 却 很 
小 ,这 说 明 两 个 变量 之 间 的 相关 性 是 由 其 它 - 些 变量 所 产生 的 . 相 
反 的 情形 也 会 发 生 ， 

定理 18. 4.14 设 (2X2) 为 残 差 阵 , 记 为 相应 的 相关 阵 ， 
即 琶 的 元 素 ri =/ (qq 7 ; 则 Riz.: 即 为 R 的 非 对 角 元 率 . 

回顾 4. 2. 1 中 复 相关 系数 的 定义 ,是 考虑 p= 二 1 时 , 即 1 个 变量 
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对 多 个 空 量 的 相依 性 ,R? 二 1 一 {9 一 7 G9 一 /一 了 一)). 
现在 我 们 要 将 此 概念 推广 到 户 >1 的 情形 , 即 同时 考虑 多 个 变量 对 
多 个 变量 的 相依 性 问题 . 自然 由 上 述 站 的 表达 式 ,我们 推广 到 下 
R= {YY— WY 7} Yo PM — YP), (18.39) 
其 中 3 为 7 的 均值 行 向 量 ,了 为 了 的 预报 秆 . 

由 民 出 发 叮 以 有 刀 种 不 同 的 方式 定义 广义 相关 系数 . 我 们 给 
出 下 面 两 个 不 等 价 的 定义 . 

定义 18. 4.15 下 述 的 两 个 量 都 定义 为 维 变量 y 关 于 4g 维 
向 量 z 的 广义 相关 系数 ， 

(1) Rr= {ltrcRy) . 


[Ip } 
《2》 开 p 一 | 亚 2 | 722， 
定理 18. 4. 16 


《Tt) 囊 一 了 一 3 (一 SS 一 SS 

C2) 设 庆 ry 为 展 的 特征 根 , 则 1 实 守 0.1 二 1,…, 记 ,; 且 

由 上 述 定 义 可 见 RR 与 RS 有 - 些 相 同 的 性 质 ,例如 ,都 在 0 与 
1 之 间 , 且 当 接 近 1 时 ,表示 3 对 x 有 较 大 的 依赖 性 ;反之 当 接 近 零 
时 ,表示 3 基本 上 不 受 x 的 有 影响 .但 有 一 个 重要 的 不 同 点 . 即 展 实 
玉 ,一 号 成 立 当 且 仅 当 而 一 如一 一 洲 ， 此 外 , 当 Ah 中 有 “ 
个 为 零 时 请 一 0; 而 性 二 0, 当 且 仪 当 久 二 … 二 四 二 0. 由 此 看 来 ,用 
Rr 作 广 世相 关系 数 比 较 合理 . 


18. 4. 3 假设 检验 


在 多 元 回归 分 析 的 假设 检验 问题 中 ,我 们 总 是 从 正 态 回归 模 
型 出 发 ,要 检验 的 假设 可 归结 为 对 参数 阵 B 的 一 个 线性 假定 
“357。 


Ii,: RB = 0, (18. 40) 
其 中 及 为 *xz 的 常数 阵 ,rk(R) = 所 采用 的 检验 方法 是 似 然 比 
检验 . 我 们 有 下 面 的 一 个 一 般 的 结论 . 
定理 48.4.17 在 假设 18. 40 之 下 ;有 开 Qi 记 当 态 , 成 并 时 得 到 
的 残 差 阵 , 用 作 记 当天 ,不 成 立时 得 到 的 残 差 阵 , 则 有 
(1) 似 然 比 统计 重 有 形式 
A= [|Q /Qi. 
(2) U= 凡 = I@ oO ~Atp no— gO— 1,3). 
因此 对 给 定 的 显著 性 水 平 a, 似 然 比 检验 的 形式 为 
当 如 < 之 (pyn 一 上 一 1,5) 时 否定 五。 《18. 41) 
否则 就 肯定 于 。- 
其 中 访 (p sn 一 g 一 113) 为 ACpsn 一 9 一 1,5) 的 下 gg 分 位 点 . 即 
PliAtpsn —g— 1 TARn m1) = a (18.42) 
下 面 我 们 给 出 元 个 有 用 的 特例 , 首先 考虑 检验 自 变量 x 的 全 
体 是 否 对 因 变 量 y 有 影响 的 问题 ,也 就 是 要 检验 假设 
五 ,: B=0,. (18. 43) 
这 相当 于 在 18. 40 中 取 灵 一 到 . 
定理 18. 4. 18 ”对 假设 (18. 43) 有 
(1) 个 一 3 一 人 03- 一 3v 
(2 UU 一 | 名 78 = 1S, —S,S Ss, 7 1S,,| 
=|I—S;y,Sy Ss, | ~AC(p ,na— 1.0). 
因此 当局 过 (pn 一 9 一 1,9) 时 否定 Hv; 否则 肯定 Ho. 
下 面 我 们 给 出 一 个 记号 
Sy = $y, — $B S$.,. {18. 44) 
有 这 个 记号 可 简化 多 的 表达 式 . 另外 这 个 记号 还 可 以 有 一 些 变 
形 ,在 下 面 是 很 硼 用 的 . 
当 因 变量 的 个 数 志 二 1 时 ,定理 18. 4. 18 中 给 出 的 基于 4 分 布 
“358 ， 


的 检验 可 转化 为 下 检验 . 
定理 18. 4. 19 ”党 户 二 1 时 ,在 收 设 (8.41) 下 


(7 U1 一 R: ,寺中 民 : 一 5,.561590y75,, 为 复 相 关系 数 . 


ps UR: 
(2) 人 一 下 RA gq—1). 


由 于 了 T? 二 上 的 单调 下 降 沙 数 , 因 此 似 然 比 检 验 有 下 列 形式 
Be > gn 一 8 一 1) 则 否定 有 (18. 45) 
否则 和 全 .肯定 五 
其 中 gyn 一 g 一 1 为 Flg yn 一 9 一 1) 的 上 a 分 位 数 . 即 
PiFlgn—a— D>F(yn -gq— 1)}=a. (18.46) 
注 ”请 读 者 注意 , 当 用 4 分 布 检验 时 ,临界 值 总 是 用 下 a 分 
位 数 ,而 用 下 分 布 检验 时 ,临界 值 总 是 用 上 a 分 位 数 . 
其 次 , 当 假 设 18. 41 被 拒 纵 时 ,我 们 要 进 - - 步 检 验 自 变量 中 的 
… -部 分 是 否 对 因 变 量 起 作用 . 为 表达 方便 起 见 ,不 妨 设 为 检验 4 个 
自 变量 中 的 后 5 个 . 记 


18. 47) 


Boy] 
小 汪 【六 | ,于 ， 好 二 
RE 一 7 Ei 


Bs, 中 
要 检验 的 假设 是 
Hi; Bw, = 0. (18. 48) 
定理 18. 4. 20 在 假设 (18. 42) 之 下 有 
(1) Q, = 5,,.. ,0 = 5,. 
其 中 S,,., 是 在 5,,.. 的 表达 式 中 ( 见 (18. 44)) 几 半 代 震 多 得 到 的 ， 
(2 U0 | ~Ap ,nm gO—1,s). 
假设 (18. 48) 的 一 个 特例 是 当 :=1, 即 检验 最 后 一 个 自 变革 
是 否 对 模型 有 影响 的 问题 . 我 们 在 (18. 47) 中 记 HX bin = Bes. 
定理 18. 4. 21 当 S=1 时 ,在 假设 (18. 46) 之 下 有 
1 


1 +adB..,Qr ‘BEL, 


1) 7 一 | 人 17 eei 一 


"3590* 


其 中 可 一 由 ce :Bo, 一 红 ! (Suv.r, 2 为 在 原 模型 下 Bs; 的 估计 . Ql 一 
See. 

i 
《21 了? 一 FF 
注 Sw 一 Sw 一 Sw S245» 
这 式 是 (18. 44) 的 进一步 一 般 化 . 


18. 4. 4 ”剔除 变量 与 逐步 回归 


在 多 元 回归 模型 中 ,通常 在 建 模 时 应 采集 尽 可 能 多 的 数据 , 尽 
量 把 可 能 有 关 的 自 变量 和 因 变 量 都 包括 进来 . 但 在 进行 分 析 时 便 
会 发 现 并 不 是 所 有 的 自 变量 对 所 有 的 因 变 量 都 有 作用 . 通常 可 能 
的 情形 是 ;: 因 变量 分 成 若干 组 ,每 组 因 变 量 对 应 着 一 组 自 变 量 构成 
-- 个 回归 寞 型 ;而 不 同 组 的 因 变 量 之 间 没 有 什么 太 大 的 关系 ,这 与 
一 元 的 多 重 回 归 模 型 不 同 . 在 那里 因 变 量 只 有 1 个 ,不 存在 分 组 的 
问题 . 逐步 回归 的 任务 只 是 要 找 出 一 组 对 因 变 量 有 显著 影响 的 自 
恋 量 而 把 多 余 的 自 变 量 剔除 . 而 在 多 元 的 逐步 回归 中 面临 着 双重 
得 选 的 任务 . 多元 逐步 回归 的 理论 依据 便 是 上 一 小 节 中 介绍 的 息 
设 检 验 原理 . 下 面 我 们 不 加 证 明 地 给 出 一 个 双重 筛选 的 逐步 回归 
算法 . 
首先 作 预 备 工作 , 设 因 变量 共有 p 个 , 自 变 量 共 有 4g 个 , 作 
了 = 次 独立 观测 , 记 因 变量 数据 阵 为 YC(nxp), 自 变量 数据 阵 为 


—adB.,07 Bi,~ 


a pr Pn a p). 


KlinXg) 
HM Na Vip Xl Xl lg 
Val Maz Ys Ta Xa Tw 
Y= ” ' 让 二 
Nal Yn2 古 卉 | Nrp Trl Tn2 ™"” ng 


其 中 了 的 第 率 行 表示 对 p 个 因 变量 的 第 次 独立 观测 ;X 的 第 
行 表示 对 g 个 自 变 基 的 第 次 观测 ,一 1,…。n. 先 按照 下 述 公式 
+ 360.* 


计算 样本 均值 


一 1 亡 
i = ys, := 1, + 办 ， 
k= 
1 ~ . 
二 一 ij 1 二 le, 
点 上 


然后 按 下 述 公式 计算 样本 方差 阵 . 


SD DO ye — I Oo— Hp) i lp 
1 1 


SD Dye — ry 7) = po lg, 
下 一 上 


Sj) 二 > (rp CO— rs Oo i j= 1, 
Pe 


Stp Xp 一 [Sy ij)]. 
Sp Xq) = [Sy(i, 1] = S$,,. 
Sg Xq) = [S.C 7)]. . 
在 逐步 回归 中 ,一 个 基本 的 计算 过 程 是 对 样本 方差 算 阵 皮 复 
进行 一 种 和 矩阵 变换 ,其 定义 如 下 . 
定义 18.4.22 设 和 A= (aw}) 为 nXm 阵 ;对 aj 隆 0,# 的 一 个 空 
换 4 二 Ti(4) 也 是 一 个 nxxm 第 阵 ; 其 元 素 a 定义 为 


二 ， 当 下 一 了 一 js 
| 

| =i 并 
本 ohio 
i 二 jj» 
TT Cp djs _ 7 
当 卡 关 2 关上 

Ua {anuai) /dijs 


变换 7, 称 为 和 矩阵 的 (, 店 消去 变换 . 
性 质 18. 4. 23 6, 力 消 去 变换 的 性 质 ， 
(1) TT (4))=A, 
(2) 若 i 上 且 jj 则 TTh CA) =Th Ty(A)). 
» 361* 


(3) 苦 生 为 站 XH 广 阵 , 记 有 4 一 : 


[A 态 1， | 
i 及 , 全 中 


设 4 存在 , 则 


Tl (了 af 一 


全 及 | 
ES E:T 4 
记 


18. 49) 
Ss (18 


py 
对 $ 作 (1,1), 2,2)， C949) 消 去 变换 ,由 18. 4.23 荔 见 
S-! S78,. 1 
S 一 ， 
| 号 全 > 5S 55 .| 
据 (18. 34) 和 (18. 36) 可 知 ,变换 后 的 矩阵 右上 和 角 $15,, 一 各， 
为 回归 系数 阵 BB 的 估计 ; 右 下 和 角 为 S 一 如 , 即 残 差 阵 . 
在 双重 筛选 的 逐步 回归 中 ,使 用 两 个 工作 矩阵 $ 一 $: 一 S( 见 
《18. 4977. 证 


《18. 50) 


S12 
SN 一 (8S .199 一 (SS 

基本 的 计算 过 程 如 下 : 当 第 : 个 自 变 量 入 选 , 则 对 Si 和 S$, 条 
时 作 避 ,呈请 去 变换 ,而 D12 变 ; 当 第 了 个 国 变量 入 选 则 对 Su 和 53， 
同时 作 划 ,说 消去 变 撞 , 而 $1 不 变 ， 

假定 已 运算 了 若干 步 , 入 选 了 {个 因 变 量 , 个 自 变量 ,相应 
iS 
Si 
SCssf) SACss0) 及 $2 (3,4) ,根据 下 述 准 则 对 变量 进行 入 选 或 

"362 。 


的 工作 矩阵 已 变 到 $7 一 及 SY. 记 S5 ,SS2 中 的 元 素 为 


剔除 . 
算法 18. 4. 24 
(1) 对 术 入 选 的 白 变 量 x; 计算 
Ti (STO (ini)) 1. 
在 所 有 未 入 选 的 自 变量 所 对 应 的 TE 中 找 一 个 最 太 的 . 设 为 
173. 对 给 定 的 立 值 Fo ,检验 下 列 不 等 式 
“一 一 7 i Fs. 
车 不 等 式 成 立 , 则 入 选 自 变量 zx;,; 即 作 变 换 , 
Ti C$) TS ). 
然后 转 入 (2) ,否则 不 入 选 作 何 自 变 量 , 即 S$ ,SS; 保持 不 变 , 转 
入 (2). 
《2) 对 已 入 选 的 自 变量 x; 计算 
T= (CSF DASNOD) Oo 1. 
在 所 有 已 入 选 的 自 变 量 所 对 应 的 7? 中 找 -… 个 最 小 的 , 设 为 
7T? ,对 给 定 的 阅 值 ,检验 下 列 不 等 式 
nO—k—t 


Te < Fe,. 


若 不 等 式 成 立 , 则 剔除 自 变量 x;, ; 即 作 变换 
Ti )， Ti CS 2). 

然后 回 到 (1). 车 不 等 式 不 成 立 , 则 不 刚 除 任何 自 变 量 , 即 保持 
SPS57 不 变 , 回 到 (C1), 

当 (1) 和 (2 中欧 没有 家 变量 人 选 , 允 没有 自 变量 剔除 时 就 转 
入 (3). 

(3) 对 未 入 选 的 因 变 量 y;; 计 算 

T= [Si D/A/S? C117) 1 1, 
在 所 有 末 入 选 的 因 变 量 所 对 应 的 全 中 选 一 个 最 大 的 . 设 为 
363 。 


373. 对 给 定 的 冰 值 成, 检验 下 列 不 等 式 
有 一 下 一 :一 
到 
若 不 等 式 成 立 , 则 入选 因 蛮 其 y, , 即 作 变换 
Ti CS Ta(S3 )， 
然后 同 到 (1) ,否则 不 人 选任 何 因 变 量 , 即 保持 Si SS; 不 变 , 转 
入 (4). 
(4) 对 已 入 选 的 因 变 量 3; ;计算 
T? = [S7 CD /SEC,71— 1. 
在 所 有 已 入 选 的 因 蛮 量 所 对 应 的 Ti 中 找 一 个 最 小 的 . 设 为 
了. 对 给 定 的 阀 值 Fi ,检验 下 列 不 等 式 


A > 
1 < Fe 


HT > Fi 


车 不 等 式 成 立 , 则 剔除 因 变 量 y; , 即 作 变 换 
Tl 和 9 十 天 (Sh), 了 ?， 

然后 回 到 (1). 否则 ,不 剔除 任何 自 变 量 , 即 3 ,32 与 3; 保持 
不 变 . 逐步 回归 停止 . 此 时 , 自 变 革 和 因 变 量 在 上 述 第 选 的 过 程 中 
都 不 再 发 生变 化 . 

这 时 ,在 售 \ 的 右边 对 应 已 入 选 的 个 自 变 量 的 行 和 已 入 选 的 
/个 因 变量 的 列 上 的 元 素 就 是 这 训 个 自 变量 对 个 因 变 量 的 回归 
系数 (构成 一 个 Xl 矩阵 ). 常量 项 上 的 估计 可 用 公式 (18, 32) 得 
到 ,但 须 注意 ,这 时 的 了 ,xX 及 育 只 与 入 选 的 自 变量 与 因 变 量 有 关 . 
如 要 得 到 残 差 阵 , 则 还 需 对 5; 关于 已 入 选 的 因 变 量 作 0, 门 消去 
变换 , 则 得 到 的 相应 的 Xi 矩阵 (位 于 52 的 右 下 角 ) 即 为 残 差 阵 . 

在 S 阵 中 将 已 入 选 的 因 变 量 所 对 应 的 行 和 列 划 掉 , 得 到 的 基 
未 入 选 的 因 变 量 对 全 体 自 变量 的 5 阵 , 由 此 出 发 重新 进行 逐步 回 
归 就 得 到 一 组 新 的 回归 方程 . 

这 里 因 变 量 是 与 (1) 中 选中 的 因 变 量 完 全 不 同 ,但 自 变 二 可 以 
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是 重 尖 的 . 如 此 往复 ,直至 全 体 因 变量 分 成 $ 组, 每- -组 对 应 着 一 
组 自 变 量 或 者 没有 自 变 量 相 对 应 . 最 后 ~ 种 情形 说 明 那 些 因 变量 
不 能 用 任何 白 变量 来 解释 ， 

最 后 讲 几 个 有 关 的 技术 细节 . 

首先 是 阅 值 遍 ,Fi 本 各 所 % 的 选取 问题 ,从 理论 上 上 讲 , 这 些 
阅 值 就 是 下 分 布 的 分 位 数 . 严格 来 讲 , 应 该 按照 给 定 的 检验 水 平 
各 相应 下 分 布 的 自由 度 来 给 出 .但 这 样 做 势必 使 计算 过 程 复杂 
化 .- -个 简单 的 做 法 是 令 乓 一 Fo 3 一 10.5 一 Fo 1 一 3. 

其 次 是 逐步 回归 的 初始 状态 前 问题 , 即 事先 指定 哪些 自 变量 
和 局 弯 量 已 和 人选. 有 郊 种 考虑 可 供 选 择 . 第 一 .入选 方差 最 大 的 因 
变量 和 与 之 相关 系数 最 大 的 自 变量 ;第 二 ,根据 实际 背景 入 选 那 些 
用 户 认 为 是 最 重要 的 变量 ,第 三 ,人 选 全 体 因 变量 . 不 管 基 于 时 种 
考虑 ,假定 出 发 点 是 已 人 选 的 自 变 量 x rz 及 因 变 量 w ， 
3200430 则 对 SS 人 作 人 0) 消去 变 搞 , 对 Sie 作 ( 方 , 太 )， 
jsj 消去 变换 ,对 5; 同时 作 上 述 二 组 消去 变换 ,然后 以 此 为 
出 发 点 进行 逐步 回归 . 需要 说 明 的 是 ,由 不 同 的 初始 状态 进行 逐步 
里 归 , 甚 结果 可 能 是 不 一 样 的 . 因此 ,和 如果 有 足够 的 经 费 和 时 间 的 
话 ; 可 以 从 几 个 不 同 的 初始 状态 出 发 ,将 得 到 的 结果 进行 比较 ,从 
中 选 一 个 较为 理想 的 结果 ， 

最 后 .在 对 SS 和 5; 进行 消去 变换 时 ,如 果 出 现 了 对 角 线 
为 零 的 元 索 , 则 说 明 产 生 了 严格 线性 相关 的 情形 ,此 时 可 将 相 庶 的 
变量 删 掉 ,再 继续 进行 . 


18.5 判别 分 析 


18.5.1 序言 


判别 分 析 (diseriminant analysis) 是 多 元 分 析 中 又 一 类 应 用 很 
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广 的 方法 ,本 节 介绍 一 些 最 常用 的 判别 方法 . 首先 ,我 们 给 出 基本 

假如 一 个 纤 生 对 前 来 求治 的 病人 进行 诊断 ,化验 ,得 到 一 系列 
牛 理 指标 ,如 体温 ,血红 ,Xx 光 透 视 结果 等 等 , 医生 要 根据 得 到 的 这 
一 组 数据 来 判断 该 闯 人 是 生 了 哪 一 种 病 :感冒 ,肺炎 或 其 它 的 病 ? 
这 是 一 个 判别 问题 . 又 例如 在 地 质 勘 探 中 ,需要 从 岩石 标本 的 各 种 
特征 米 判 别 该 岩石 样本 是 取 自 娜 一 种 地 质 构 造 .考古 学 家 要 根据 
出 土 文物 的 各 种 特征 来 判别 这 些 出 土 文物 是 来 自 哪 一 历史 时 代 或 
吾 一 种 文化 形态 等 等 . 以 上 所 举 的 例子 都 可 以 用 统计 学 的 判别 分 
析 的 方法 来 处 理 . 总 之 ,判别 分 析 在 生产 和 科研 的 很 多 领域 里 都 可 
以 找到 自己 的 用 途 . | 

时 数学 语言 可 以 将 判别 问题 表述 如 下 : 设 有 一 个 总 体 多 ,其 
中 包含 了 澡 个 子 体 开 , 芽 ,… ,1 每 个 于 体 在 总 体 中 所 占 的 比例 


为 而 ,Tis Sn 二 1 又 设 每 个 子 体 本 身 有 概率 分 布 (离散 


变量 场 全) 或 密度 函数 (连续 变量 场合 f(x) 一 1 和 ,其 中 < 
为 疡 维 变量 . 对 从 总 笨 多 中 取出 的 一 个 样本 x, 我 们 要 判断 它 来 
自 哪 个 子 体 . 具体 作法 如 下 . 

定义 18. 5.1 将 维 欧 氏 空 间 R* 划分 为 mm 个 互 不 相交 的 区 


域 RRi,*** 1 , 即 Ri 站 R= 2, 当 ak Ua; 一 月/ 对 给 定 的 x 


ER?, 当 xER; 时 ,就 判定 x 是 取 自 子 体 H,i 二 1,…,m. 这 个 R 
的 划分 (partition) 便 称 为 是 一 个 判别 法 则 (discriminant rule). 

显然 ,要 解决 一 个 判别 问题 就 要 解决 如 何 确定 一 个 “好 的 ” 判 
别 法 则 的 问题 . 这 里 “好 的 ”概念 可 以 是 基于 某 种 理论 准则 ,也 可 以 
是 基于 某 种 直观 可 行 的 想法 . 但 是 ,无 论 何 种 判别 法 则 都 要 面临 发 
生 错 判 的 问题 . 假定 样本 xz 是 取 自 子 体 区 ,而 根据 判别 法 则 多 判 
定 x 属 于 忆 , 于 是 就 发 生 了 错误 . 错 判 概率 为 


* 366« 


Pljli) = [fax, i 关上 (18. 51) 


里 积分 号 表示 重 积分 (对 过 续 变量 ;或 求 和 (对 离散 变量 )， 
于 是 ,对 一 个 判别 法 则 多 来 说 ,其 总 的 平均 错 判 概率 为 
一 DPx 取 自 了 了) Px ER.|x 取 自 1;) 


一 Dn SP) 一 D:D | Aerodr (18. 52) 
4 Je ?= 】 4 


不 论 用 何 种 判别 法 则 ,我 们 都 希望 错 基 概率 尽 可 能 小 ;在 实际 
问题 中 ,由 于 疡 (z) 都 是 未 知 或 部 分 未 知 的 ,还 存在 对 错误 概率 进 
行 估计 的 问题 


18.5. 2 分布 已 知 时 的 判别 法 则 


假定 着 个子 体 歼 ，…: 开 。 在 总 体 这 中 所 占 的 比例 而 s**t 
蕊 知 , 叉 假定 各 子 体 本 身 的 分 布 x),… ,fw lx) 也 已 知 , 风 最 委 
用 的 判别 方法 旦 只 叶 斯 (Bayes) 判 别 , 其 定 文 如 下 

定义 18. 5.2 一 -个 判别 法 则 , 即 R? 的 一 个 划分 Ri,… ,Rw 称 
为 是 贝 叶 斯 判别 法 则 ,车 它 使 (18. 52) 所 定义 的 错 判 概率 P. 达 到 
最 小 . 

” 简 言 之 ;中叶 斯 判别 法 则 就 是 错 判 概率 最 小 法 则 . 下 面 的 定理 

给 出 了 员 叶 斯 法 则 的 具体 形式 . 

定理 18. 5.3 ” 贝 叶 斯 判 列 法 则 是 : 当 丘 访 (c) 衬 正方 (c) 一 
1 2: 则 判 定 x , 即 取 

R, = {x: Wf;(x) = max f(x)) 7 一 1 ，-… ,93. 

特别 当 mr 二 2 时 有 


Cx) 2 
R= ( :pr > 于 | 


F(x) 
8 fCx) 


= (x: log >log 全]， 
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Rs 一 Re 中 |. 

注 : 在 上 述 结 论 中 ,对 某 个 给 定 的 样本 x 可 能 达到 最 大 的 

囊 :fi (x) 不 止 一 个 ,这 时 可 以 事先 规定 将 x 划 入 某 个 Ri; 例 如 可 以 

规定 x 划 入 标号 较 小 的 R&R. 这 种 情形 在 离散 场合 常会 遇 到 ,而 在 
连续 场合 则 较 少 发 生 . 

例 18.5.4 设 六 个 子 体 为 具有 相同 方差 阵 , 不 同 均值 的 正 态 

分 布 , 即 Hi ~ N, (a2 二 om 网 wf (x) = AC 


exp( — 二 (一 上 JE IC 一片 ) ). 两边 取 对 数 , 我 们 有 


log (zf) = 一 于 GATE 一 4) 十 logm 十 Cr， 
1 = om 《18. 53) 
得 咯 控 数 天 和 共同 的 一 2 x 项 ,要 使 wf,《x) 达 到 最 


大 ,等 价 于 使 | * 一 些 | 三 只 二 logx 达到 最 大 . 因此 贝 叶 斯 法 则 为 


民 , 一 (x:|x— | i 十 logx; 


=- max[[x 一 学 | 2 | 1 + logr; |) si = l,m, (18.54) 


1 1 


特别 当 m= 二 2, 即 只 有 两 个 子 体 时 ,容易 推出 贝 叶 斯 判别 法 则 


R, 一 [zz 一色 | > log 至 | ， R, = Re — 民 ，(18. 55) 


其 中 加 一 三 CA 一 应 ). 

注 在 (18. 55) 中 ,判别 是 依据 z 的 一 个 函数 ACx) 的 大 小 来 
决定 的 ,这 函数 便 称 为 判别 函数 (discriminant function), 特别 在 
此 场合 判别 函数 是 线性 的 , 便 称 为 是 线性 判别 函数 ,相应 的 判别 法 
则 便 称 为 线性 判别 . 

和 由 贝 叶 斯 判别 法 则 可 以 引伸 出 一 些 别 的 判别 法 则 ,首先 考虑 
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当 {zw}) 一 一 子 体 占 总 体 匀 的 比 昼 (也 可 看 成 是 属于 某 个 了 的 先 
验 概率 ) 不 知道 的 场合 ,在 这 种 场合 ,我 们 可 以 假定 
地 | 一 Ny 一 一 向 《18. 56) 
这 时 贝 叶 斯 判别 法 则 变 成 了 
民 ; 一 人 1)》 一 Tmax f(x) }, = ,mm. (18.57) 
这 就 是 最 大 似 然 判别 法 5maximum likelihood discriminant》. 
因此 最 大 似 杖 判 别 法 是 贝 叶 斯 判 刹 的 特例 , 
我 们 进一步 考 虚 发 生 错 判 所 造成 的 损失 , 当 rE 而 判 xE 
IH; 所 造成 的 损失 与 当 xE€ 五 而 判 xE 所 造成 的 损失 可 能 是 不 
癌 的 . 例如 , 当 病 人 无 病 而 医 牛 诊断 为 有 病 , 其 结果 不 过 是 虚惊 一 
场 ; 而 当 病 人 有 病 医 生 却 诊断 为 无 病 , 结 果 可 能 是 延误 时 机 造成 不 
可 挽回 的 损失 , 因此 ,在 某 些 问题 中 我 们 需要 考虑 错 判 损失 问题 . 
定义 18.5.5 设 工 (| 用 裕 Dj 一 1 天 为 一 组 损失 ， 
即 当 xE ;而 判 为 EH; 时 有 担 失 工 (1 站, 则 总 损失 为 


L-Y DLO | fdz. 
r= IT 六 


称 使 得 总 损失 工 达到 最 小 的 判别 法 则 为 损失 最 小 判别 法 则 ， 

注 “在 一 些 文献 中 定义 损失 最 小 判别 法 则 为 由 时 斯 判别 法 
则 ,这样 我 们 在 18. 5- 4 中 定义 的 中 时 斯 判别 法 则 就 成 了 一 个 特 
例 , 即 在 工 (1 站 = 常数 下 的 由 时 斯 法 则 . 这 里 的 区 别 仅 是 名 词 使 
用 上 的 不 同 而 不 看 在 实质 上 的 区 别 ， 

最 小 损失 判别 法 则 有 形式 

R, 一 {x: Df LG [= min Df LE [2) } ， 

本 lt m ph 


i 一 ,mn, (18. 58) 

在 实际 问题 中 选择 一 组 损失 LG | 丫 要 根据 具体 问题 的 背景 

来 给 出 ,但 在 很 多 情形 下 ,损失 是 难以 数量 化 的 ,因此 硬度 给 出 一 

组 损失 就 难免 带 上 主观 随意 性 . 另 一 方面 ,对 一 个 总 平均 错 判 概率 
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(《P.) 很 小 的 判别 法 则 来 说 , 基 个 条 件 错误 层 率 Pe 7125 见 
《18. 51)) 却 可 能 较 大 ,特别 是 当 zt; 较 小 时 更 是 如 此 ,这 种 情形 有 
时 是 要 特别 避免 的 .这 种 情形 常 发 生 在 诊断 某 些 少见 的 疾病 或 探 
测 某 种 稀有 矿产 中 . 为 此 引进 最 大 错 判 概率 最 小 判别 (minimax 
diseriminanty 的 概念 . 

定义 18. 5.6 设 某 一 判别 法 则 满足 :最 大 错 判 概率 max{P。 
| 六 “学 太 在 所 有 判别 法 则 中 达到 最 小 , 则 称 此 判别 法 则 为 最 大 
错 判 概率 最 小 法 则 ,简称 为 minimax 判别 . 

定理 18. 5.7 minimax 判别 法 则 有 如 下 的 形式 : 


KR; 一 {Xf rE) > max of (x)), 1 = 1 yn 
jj 


其 中 a 之 0， Ya 二 1 ; 且 PC 站 一 Pak| 人 由 ,对 任何 j 关 让 及 
£ 产 ! 者 成立 . 
18. 5.3 分 布 含 未 知 参数 时 的 判别 法 则 


在 实际 问题 中 ,分 布 完全 知道 的 情形 几乎 不 存在 . 本 小 节 讨 论 
分 布 部 分 未 知 的 情形 , 即 子 体 卫 ; 的 分 布 六 (xz,@) 中 有 来 知 参 数 口 ， 
B 可 能 是 多 维 的 . 从 上 一 小 节 中 可 以 看 出 ,各 种 判别 法 则 的 确定 都 
与 f;(x,9) 的 取 值 有 关 . 而 由 于 广 (z,6)? 中 有 未 知 参数 8 ,因此 判 
别 法 则 无 法 确定 . 为 克服 这 一 困难 就 要 求 我 们 事先 手头 有 一 批 数 
据 , 用 这 批 数据 去 估计 末 知 参数 久 一 1 

设 


其 中 环 0wXp) 为 取 自 子 休 开 的 样本 ，3lm; 一 .这 批 样本 多 党 
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称 为 训练 样本 ttraining sample)， 和 由 于 已 知 X; 是 到 自 I 的 样本 ， 
于 是 便 可 以 用 熟知 的 参数 估计 方法 通过 于 去 估计 fitx;8) 中 的 
未 知 参 数 &, 记 相应 的 估计 值 为 如 ,于 是 可 以 用 fxzB) 来 代替 
六 Cr) 作为 子 体 开 的 分 布 , 上 一 小 节 介绍 的 各 种 判别 法 则 便 可 
以 征用 . 特别 当 半 是 随机 地 取 自 总 体 沪 时 , 当 nw 较 大 时 还 可 以 用 
部 = 到 去 估计 子 体 本 在 总 体 党 中 的 比例 一下 

例 二 和. 5. 总 设 A 
体 不 同 的 均值 和 相同 的 方差 阵 , 贞 ,此 和 王 均 未 知 , 在, Cn, pb) 为 
取 自 的 训练 样本 ,i 一 1,2. 几 样 本 均值 元 去 个 许 子 体 均 值 上 
:一 1,2; 用 样本 合 方差 阵 3 一 2a2 2 去 信 计 方 莽 阵 研 根据 
《18. 51) 得 到 贝 叶 斯 判别 法 出 为 


; i 二 ,TT 
R, 一 [x SC — 1) > log 


R, = R* — RI. (18, 59) 
在 上 式 中 车 ri,xs 未 知 ,还 可 用 时 和 党 来 代替 或 者 根据 极 大 
似 然 法 则 (18. 52) 有 
R, = ts 一 各 | s, iF, — Ks) > 01, 
R,=R:—R. (18, 60) 
例 18.5.9 设 严 一 2 下 一 No 三) 了 一 Ni (此 ,五 ), 即 两 
子 体 有 不 同 的 均值 和 不 同 的 方差 阵 ,内 + Hz 各 Z1 :2 均 未 贱 sn 
x 5) 为 取 自 H; 的 训练 样本 ,i 二 1,2. 这 时 贝 叶 斯 判别 有 形式 


R, 一 lx;sxTAx xh 二 ce> log 之 ， R,= R?— R, (18.61) 
1 


其 中 4 一 一 二 ( 瑟 一 下 9 烛 一 (五 册 一 下风 ) ， 


or 
一 olOE 区 | 于 (志和 Hi 2 He], 
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别 法 刚 . 当 mw ,x 未 知 时 ,可 用 log 旦 或 0 来 代替 log 于 ， 
注 在 上 和 曾 黄 例 中 ,为 保持 判别 法 则 的 “稳健 性 ”1,2( 或 三 } 
的 估计 可 用 适当 的 稳健 估计 ( 见 18. 2. 2)， 
例 18. 5. 10 设 吉 =2, 找 二 | 并] ,一 1,2, 其 中 与 zx 为 独 
立 的 伯 努 利 (Bernoulli) 变 量 , 即 Plz; 二 1)=p;i;==1 一 P(x 一 0)， 
7 一 1,2:: 一 1,2. 根 据 18.5.3 可 以 推出 
R| = (B+ Pir + Bors > log |, (18. 62) 


(1—p?tl— pz) pntl— pa) 
其 中 Po log {1—pe?(1— pss) 'A log (1— p11) pa "Bs 


log 如 和 一 2 当 存 在 训练 样本 时 可 以 用 型 去 估计 pi, 其 中 羽 
(1 — pia) pas 


为 第 i 个子 体 的 样本 数 ,nw; 为 第 ;i 个子 体 样 本 中 ji 变量 取 1 的 个 
数 . 当然 ,也 可 以 用 log 丰 或 零 去 估计 log 2 


18. 5. 4 ”分布 完全 未 知 时 的 判别 法 则 


当 子 体 HH; 的 分 布 f(z) 完全 末 知 时 ,上 一 小 节 的 方法 完全 不 
能 用 , 为 此 需要 从 训练 样本 本 身 的 结构 出 发 直接 构造 判别 法 则 .下 
面 介绍 几 种 常用 方法 . 

1. 距离 判别 法 

假定 有 两 组 训练 样本 ,分 别 来 自 两 个 不 同 的 子 体 . 现在 又 有 一 
个 观测 值 ,要 判断 x 是 取 自 哪 个 子 体 , 一 个 直观 的 想法 是 定 出 两 
个 子 体 的 中 心 , 例 如 可 以 用 样本 均值 来 作为 子 体 二 的 中 心 ,i 一 
1 ,2, 然后 看 到 两 个 子 体 中 心 的 距离 ,如 果 x 让 工 中 心 比 中 
五 : 中 心 近 , 则 判定 x 属于 开 , 反 之 则 判 x 属于 并 .这 就 是 距离 判 
别 法 的 基本 思想 ,问题 是 使 用 什么 样 的 距离 函数 ? 
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从 图 18. 1 中 可 以 看 出 用 通常 的 欧 氏 距离 是 不 行 的 . 在 图 中 小 
圆 图 表示 第 -- 组 训练 样本 ;“X” 号 表示 男 一 组 训练 样本 . 分 别 用 外 
和 多 表示 它们 的 中 心 , 观测 值 x 到 两 个 中 心 有 相 同 的 欧 氏 距离 . 但 
直观 上 看 工 应 属于 也 而 不 属于 1, 其 原因 是 全 , 的 数据 散布 度 较 
大 ,而 HI 的 数据 则 较 密集 . 因此 我 们 在 定义 距离 少数 时 要 考虑 这 
个 向 题 . 


OO 
oon po x x 
0 6 一 一 一 一 的 xx 
Ooooeo * ex” 
OO do x X xX 
厅 ， 


18. 1 


定义 18.5.11 设 六 中 一 个 分 布 有 方差 矩阵 王 | 二 | 全 0, 则 
在 这 方差 阵 下 两 点 xx 和 3 之 间 的 马 哈 拉 诺 比 斯 (Mahalanobis) 距 
离 为 
dulx sy) = Tr — yrEix — yl, 
简 原 为 马 氏 距离 
容易 验证 , 马 氏 外 离 满足 一 各 距离 函数 的 三 .条 基本 性 质 , 即 
(1) 非 负 性 dwyCx, 宇 0;qutx,y) 一 0 当 且 仅 当 xx 一 少 
(2) 对 称 性 dw(x;8) 一 d(x12). 
(3) 三 角 不 等 式 duCx ,ydy (x ,2 dy(z,y). 
不 仅 如 此 , 马 氏 距离 还 有 一 些 重 要 的 性 质 . 我 们 给 出 的 定义 为 
定义 18. 5.12 马 氏 模 1 zw 一 vcr 0)， 
首先 马 民 模 有 刻度 不 变性 . 设 R* 中 一 分 布 有 方差 阵 ,对 R? 
作 一 变换 * 一 xz 一 diag (如 ,二 ，… ,让 X 一 DDx, 这 是 一 个 刻度 变换 ， 
相当 于 把 第 z 个 分 量 的 刻度 单位 取 为 原单 位 的 4&1i 一 1,*…，, 记 ， 
在 此 变换 下 方差 阵 变 为 8’ = 二 DZD. 我 们 用 上 ， | >v 表示 原 马 氏 模 
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而 用 有， 中; 表示 变换 后 的 马 氏 模 . 则 容易 证 明 ， 
上 xi 二 |x”, 对 任意 zx EE R*. (C18, 63) 


特别 有 
zx w 一 大 | | ww 对 任意 天 盖 0. (18, 64) 
其 次 , 马 氏 模 的 天 小 不 仅 与 点 的 ( 欧 氏 ) 长 度 有 关 , 也 与 其 方 
向 有 闫 ， 
定理 18. 5.13 设 工 的 特征 根 为 态 盖 站 人 > 人 > 相应 的 单位 
特征 向 量 为 Yi es op, 则 


1 . 
7 w= = min lxly, 
wx 一 ] 


A 


> | “一 计 一 min x = 2 
= es 


熟知 ,7 是 分 布 散布 度 最 大 的 方向 ， 因此 , 沿 此 方向 上 号 氏 焉 
离 最 短 . 7; 是 在 和 Yi 正 交 的 方向 上 分 布 散布 度 最 大 的 方向 ,因此 
沿 此 方向 上 的 马 氏 距离 在 所 有 与 , 正 交 的 方向 上 是 最 短 的 ， 
……. 而 在 方向 上 马 氏 距离 最 长 . 

最 后 ,我 们 来 解答 图 18. 1 所 提出 的 问题 . 

定理 18. 5. 14 设 五 和 五 为 两 个 方差 阵 , 且 互 一 五 六 0 有 即 2 
一 五 为 正定 阵 ). 用 |*| 名 定义 由 五 寥 定 的 马 氏 模 . 则 对 任意 的 
工 有 


| x | < | x se. 

上 述 定理 说 明 , 协 方差 人 钝 “大 ”, 则 马 氏 模 愈 小 ,这 就 回答 了 在 
图 18.1 中 为 什么 x 应 属于 并 而 不 属于 HH; 的 道理 ,与 直观 的 感觉 
是 一 致 的 . 下 面 给 出 距离 判别 法 的 正式 定义 . 

定义 18.5.15 设 zw 个 子 体 开 ,…,H 分 别 有 均 秆 所 册 
和 方差 阵 瑟 ,…, 事 , 对 任 一 观测 值 x ,定义 x 到 子 体 ;的 距离 为 

dr) = Ad) 一 [cz 一 AT Ce 一 后) 
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i 一 l,m 
则 距离 判别 法 则 为 
RR; 一 { 人 FE) 一 main cr. 厅 ))} oo 
] 这 3 区 可 


当 片 和 互 均 未 知 而 存在 训练 样本 筷 时 ,可 用 估计 值 包 和 互 
来 定义 马 氏 距离 ,从 而 确定 距离 判别 准则 . 

例 18.5.16 设 mw=2,J; 有 均值 上 和 方差 阵 二 ,i 一 1,2, 设 五 
一 五 一 三 于 是 d(x) 二 (x 一 W072 TY 一 上 一 1,2. 因 此 距离 判 
别 有 形 式 

Ri = (d(x Hi) 二 ce 
R, = {d(x ) > dtlx,H,)). 


经 计算 容易 得 出 
-TT 
R= (|x 和 | 一) > 0， 
R, = R* 一 及 (18. 65) 


这 与 正 态 等 方差 阵 条 件 下 x 二 zs 时 的 贝 叶 斯 判别 法 则 一 敏 
《网 (18.557)， 

例 18.5. 47 在 上 例 中 车 盛 关 瑟 , 则 距离 判别 与 两 正 态 子 体 
不 等 方差 阵 杀 件 下 如 二 x 时 的 风 叶 斯 判别 法 则 类 航 ( 见 
(18. 61)) ,在 那里 c 收 为 一 雪 ( 风 富 1 一 磺 喇 11) ,lo8 于 用 0 代替 
即 可 . 

注 在 用 距离 判别 时 ,由 训练 样本 估计 出 来 的 均 慎 和 方差 阵 
会 发 生 不 稳健 性 的 问题 ,但 是 往 使 用 稳健 估计 时 会 通 到 一 种 情形 ， 
即 秸 计 的 方差 阵 会 产生 不 定性 . 因此 会 发 生 这 样 的 怪 现 象 , 即 对 某 
些 观 测 值 其 马 兵 距离 平方 会 取 负 值 : 但 率 运 的 十 ,这 种 情形 ( 即 忠 
离 平 方 为 负 ) 在 实际 中 很 少 发 生 . 因此 为 了 保证 判别 的 稳健 性 , 冒 
这 -一 点 小 小 的 风险 还 是 值得 的 ， 

在 使 用 惠 离 判别 时 会 过 到 一 个 比较 严重 的 问题 , 即 方 差 阵 三 
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退化 的 情形 ,这 时 相应 的 方差 阵 的 估计 有 -- 些 特征 值 非常 接近 零 
(与 其 它 特征 值 比较 而 言 ). 这 时 分 布 本 质 上 是 退化 的 , 即 集中 在 一 
个 点 维 子 空间 上 ,hk<<p; 而 三 的 估计 2 的 后 p 一 个 特征 根 可 以 看 
成 是 由 观测 误差 所 造成 的 (参见 下 一 节 主 成 份 分 析 ). 在 这 种 情形 
下 ,即使 二 ' 存 在 ,由 ' 所 定义 的 马 氏 距离 有 一 个 严重 的 缺点 , 即 
在 三 :的 后 几 个 特征 向 量 的 方向 上 ,向 量 长 度 的 微小 变化 都 会 引起 
马 氏 虑 离 的 很 大 改变 , 在 判别 中 就 会 因 微 小 的 观测 误差 而 引起 严 
重 误 判 . 为 克服 这 一 困难 ,我 们 可 以 适当 选取 2 的 前 个 特征 向 基 
( 主 成 份 )Y),…,Y( 具 体 选 法 见 本 章 6. 2. 3). 记 
三 一 OF DD = diag(tAd ,rs Ah), 


StF (18. 66) 
对 每 -~ 观测 值 zx, 定 义 其 到 分 布 中 心 的 马 氏 距离 为 
dr 一 人 一 站 7TEr 一 月， 《18. 67) 


这 样 做 的 结果 实质 上 是 用 向 大 在 前 振 个 特征 向 量 所 生成 子 空 
向 的 投影 来 定义 马 下 距离 . 在 距离 判别 中 当 p 较 太 时 ,用 d(x， 
五) 来 代替 dwCx, 卫 ) 其 效果 更 好 . 

2. 费 希 尔 判 别 法 

在 前 面 介绍 的 一 些 判 别 法 中 常 出 现 观测 值 x 的 某 种 线性 函 
数 , 根 据 钱 性 函数 的 大 小 来 判罚 观测 值 属于 哪个 子 体 . 费 希 尔 
(Fisher) 借 助 方差 分 析 的 思想 来 导出 线性 判别 函数 ,其 思想 是 这 
样 : 找 一 个 方向 ,在 这 个 方向 上 要 使 各 子 体内 部 尽 可 能 “密集 ”; 而 
子 体 之 间 要 尽 可 能 “分 开 ”. 然后 将 观测 值 沿 这 方向 投影 ,根据 投影 
值 的 大 小 来 进行 判别 . . 

用 p 维 随机 变量 及 来 表示 了 于 体 五 ,i 一 1,…3m; 对 任 一 给 定 的 
方向 本 六 在 站 方向 的 投影 为 一 1 记 


一 Elyu) 一 ut 一 ,ome 一 二 > e， 18. 68》 
iwl 
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oO 一 VY) 一 下 [过 和 一 19， 
费 希 尔 用 “组 间 离 差 ” 
BG) 一 De — ey =wMHM uw Be (18.69) 


i=] 


来 刻 划 在 站 方向 子 体 之 加 分开 的 程度 ,其 中 


M 一 {CH a HH 一 I, 一 pa 18, 70) 


用 “组 内 离 差 ” 
Elu) = Do = WDE) = uw En (18, 71) 


来 刻 划 在 # 方向 子 体内 部 的 豪 集 程度 , 费 希 尔 认为 应 取 uw 使 得 BB 
(0) /E(w) 达 到 最 大 . 
定义 18.5.18 设 上 维 向量 w 满足 : 
ut Bu, 理 
下 max 
则 对 任何 观测 值 xx 称 为 费 希 尔 线 性 判别 函数 . 
定理 18. 5.19 满足 上 述 定 义 的 名 为 EB-18 的 最 大 特征 根 所 
对 应 的 特征 向 量 . 
注 在 实际 求解 ui 时 , 先 求 E-3BE-?( 对 称 阵 ) 的 最 大 特征 
根 ,找到 特征 向 量 v 时 , 邻 刘 一 -2v, 即 为 所 求 . 
定理 18. 5. 19 只 是 给 出 了 确定 线性 判别 应 数 的 捞 影 方向 二 ， 
而 并 没有 给 出 具体 的 判别 法 则 , 由 于 twx 是 一 维 的 ,我 们 可 以 用 一 
维 空间 中 的 马 氏 距离 来 判别 ,得 到 结果 如 下 . 
将 ernt = lr 从 小 到 天 排列 为 EE em. 取 i 


人， er; gE 3 。 
和 eww 的 加 权 中 点 mm; 二 2 加 十 054p ;一 1,-…,m 一 1. 于 是 


Oty ot 
得 到 如 下 的 
方法 18. 5. 20 判别 法 则 
当 wxzE C1 7 时 ,判定 x 属于 Hsi 二 1 和 mW 二 
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oe + 二 1 一 十 DO. 
特别 当 互 一 互 一 … 一 开 时 m= 1 04 


上 面 讲 的 是 用 一 个 线性 判别 画 数 来 进行 判别 的 情形 . 有 时 用 
一 个 线性 判别 函数 判别 还 不 够 (特别 是 硅 近 边界 点 的 那些 地 方 )， 
需要 同时 用 凡 个 线性 判别 函数 . 我 们 可 取 E 'B 的 前 个 特征 根 
所 对 应 的 特征 向 量 志 ,wo,… ,ww 称 为 第 i 个 正则 方向 ,i 二 1,…， 
.用 CX) "一 UTx 去 进行 判别 ,其 中 = Gs) 这 
相当 于 将 原来 的 疡 维 向 量 降 维 到 不 维 ,对 应 于 浮 体 了 的 均值 为 声 
= 要 有, 方差 阵 去 一 DIE0 一 1 于 是 可 以 用 距离 判别 法 则 
对 z 一 Vx 进行 判别 . . 

在 子 体 分 布 完全 未 知 的 情况 下 , 队 了 上 面 介 绍 的 距离 判别 法 
和 费 希 尔 判 别 法 之 外 ,还 有 一 些 非 参 数 判别 法 ,如 核 (kernal) 判别 
和 近邻 Cnearest neighbour) 判别 ， 


18. $5. 5 误 判 概率 


在 判别 分 析 中 误 判 概率 的 计算 与 估计 是 -个 重要 的 问题 . 在 
判别 分 析 中 误 判 慨 率 的 大 小 是 由 丙 个 方面 的 原因 决定 的 . 其 一 是 
由 所 缆 判 别 的 那些 子 体 决定 的 ,如 果子 体 之 间 是 很 难 区 分 的 ,那么 
即使 采用 理论 上 最 好 的 判别 法 误 判 概率 仍然 可 能 很 大 . 其 二 是 由 
所 使 用 的 方法 决定 的 . 对 同一 羯 别 间 题 使 用 不 同 的 判别 法 会 产生 
不 同 的 误 判 概率 . 因此 ,通过 计算 和 估计 误 判 概率 可 以 使 我 们 在 丰 
辐 的 判别 法 中 选择 一 个 较为 满意 的 ( 误 判 概率 较 小 的 ) 判 别 法 . 另 
一 方面 ,如 果 采 用 任何 判别 法 , 误 判 概率 都 不 能 显著 变 小 ,那么 就 
可 以 认为 这 个 判别 问题 本 身 “ 很 坏 ”, 不 能 从 中 推出 任何 较为 有 意 
义 的 结论 . 

首先 我 们 介绍 在 各 子 体 的 分 布 已 知 的 条 件 下 计算 误 判 概率 的 
方法 . 实际 上 我 们 已 经 在 本 节 的 开头 给 出 了 计算 公式 即 (18. 52). 

7. 


根据 这 个 公式 ,首先 要 计算 概率 Pili) = | 大 Codr， 然后 再 计 


算 总 平均 误 判 概率 已 

例 18.5.21 设 有 两 个 子 体 ,有 古人 一 亲人 一 入 pr( 计 ， 二 )， 
这 时 失 叶 斯 判别 ,距离 判别 和 费 希 尔 关 别 有 共 同 的 线性 判别 图 数 . 
本 二 Hs | se 


A{x)} = Ix IE 一 Ha), (18. 72) 


而 判别 域 为 

R= 外人 Ea), R= {x hlx) < a). (18,73) 
其 中 ,在 距离 判别 下 4 二 090; 在册 时 斯 判别 下 ,a 二 log (zxe) ;在 费 
希 尔 判 别 下 ea 可 以 取 0 或 别 的 数 . 此 时 可 以 证 明 : 


h(x) 一 N| 到 ,4 , 当 ze 症 ， (18. 74) 


h(x) ~N|- 3,4| , 当 x € 1,, 


其 中 
点 一 {A 一 WF lem TT 2， {18. 75) 
因此 - 
A 
24 一生 
Pol2|1) = PAX) alrE HH)= 2 |， {18. 76) 
VD | 
at 全 | 
Paelll2) 一 PR) 守 alr ED-1— | a 
1 VE | 
C18. 77) 
而 总 平均 误 判 概 这 为 
了 了 六 i 六 
[va) | Va | 


其 中 多 ( 。) 为 wo,1) 的 分 布 函数 ,可 查 表 求 得 
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对 minimax 判别 法 则 ,应 满 是 


2 一双 4 十 全 
Pr2|1}) = POI2}),B| 2|=1—@ 21. (18.79) 
A | va 
据 此 可 以 定 出 a 应 满足 . 
< 一 全 一 ' < 十字 | 
= : ,有 一 总 (18. 80) 
/FH J 


由 (18,.78) 式 可 见 , 当 入 大 时 ,Pos 小 ;上 反之 当 入 小 时 Pi 大 ,从 
距离 的 观点 看 ,表示 丙 子 体 中 心 距 离 的 中方 . 因此 上 述 事 实 实际 
上 说 明 ; 当 两 子 体 中 心 距 离 越 大 , 则 越 容易 判别 ,反之 就 不 易 判 别 . 

当 分 布 含有 未 知 参 数 时 , 误 判 概率 也 是 参数 的 函数 ,因而 是 不 
确定 的 . 这 时 如 果 手 头 上 有 训练 样本 的 话 就 可 以 用 它 去 估计 参数 
值 . 用 这 些 佑 计 值 作 真 值 , 按 照 理论 上 给 出 的 公式 去 计算 误 判 概 
率 , 实 际 上 得 到 的 是 误 判 概率 的 估计 值 . 这 方法 最 简便 易 行 ,但 在 
样本 较 小 时 ,所 得 的 误 判 稳 率 的 估计 不 够 好 ， 

下 面 介绍 几 种 完全 不 依赖 于 分 布 的 谋 判 概率 估计 法 . 

方法 18. 5. 22 ”回报 法 ”假定 有 - 批 训练 样本 zx, EH,j 二 1， 
1 En 一 n, 依照 菜 种 判别 法 则 用 这 批 样本 得 出 判 
别 域 为 R,,…,R。. 用 这 组 判别 域 返 回来 对 训练 样本 逐个 进行 判 
别 . 记 

mer(j| 站 二 第 i 个子 体 的 样本 被 误 判 为 

属于 j 子 体 的 个 数 ,ji,i 一 1,*… xm. 


ner 一 Dn Off), (18. 81) 
r=1 ji 
于 是 可 以 舍 计 旬 件 误 判 概率 为 
POlD = am (18. 82) 


当先 验 概 率 ri ,xn 已 知 时 ,可 用 
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Po = > 和 了 六 (站 (18. 83) 
去 估计 总 的 误 判 概率 . 
当 ,oooxn 来 知 时 ,可 用 于 去 估计 蕊 于 是 有 
Po = Nui C18. 847 
型 论 上 和 实践 上 都 证 明 , 几 回报 法 所 得 到 的 误 判 概率 比 真 实 
的 误 判 概率 偏 小 ,这 是 回报 法 的 一 个 缺点 . 
方法 18. 5.23 刀 切 (jackknife) 法 ”这 是 对 回报 法 的 一 个 修 
正 , 记 用 茶 种 判别 法 则 从 xz 个 训练 样本 得 到 的 判别 域 为 RF",…、 
Rw. 现在 要 返回 去 判别 x 时 ,不 有 {RY 小 .而 是 从 原 米 的 个 样本 
中 去 掉 x 上 后 剩 下 的 Ca 1) 个 样本 去 构造 类 别 域 为 民生 
Re 0 ,用 这 一 组 判别 域 去 判别 CD wae Pn Ci 门 及 一 仍 
如 18. 5. 22 中 所 定义 ,这 祥 得 到 的 涝 判 概率 估计 上 引用 河 报 法 更 接 
近 真 值 , 当然 刀 切 法 的 计算 量 较 大 ,可 以 使 用 计算 机 来 解决 . 
方法 18. 5.234 自助 (heotsttap) 法 设 用 回报 法 得 到 ni| 
站 及 P| 站 ,由 于 户 w(j| 丫 是 Potj| 丫 的 有 偏 犀 计 , 记 d= Pw 
中 | 门 一 疡 GD, 现 要 对 偏差 di 进行 估计 .用 训练 样本 zx yz 
代 赫 子 体 Hi 二 1 ,m; 从 中 进行 有 放 回 抽样 n; 次 ,得 到 新 的 样 
本 Ea 和 EE sO 二 ln. 由 4* 古 9 放 襄 抽 禅 ， 4 } 可 看 成 是 独立 
的 取 自 子 条 二 := {zx0,7==1,… ,ni} 的 随机 样本 . 用 这 一 组 新 的 样本 
构造 新 的 判别 域 R ;,…, RR; ,然后 由 这 组 草 别 域 出 发 对 {x;;} 和 
{zx} 进行 判别 ;分别 得 到 #6 让 和 2 (| 让. 记 
di = ni) — ne CD (18. 85) 
dd; 为 一 次 重新 抽样 中 4 的 估计 . 将 这 种 重新 抽样 进行 次 ,KK 可 
以 很 大 (KK==100 或 500), 第 次 得 到 的 di (8) 按 (18. 83) 所 定义 . 
于 是 对 4 的 估计 可 用 


下 
六 二 上 
,一 下 各) {18. 86) 


aa 38] 。 - 


给 出 ,于 是 Potj | 站 的 自助 估计 为 
Pjli) = PllD) + 1 {18. 87) 
总 平均 误 判 概率 的 自助 估计 为 
太一 Dr > 疡 (CD)， (18. 88) 


这 里 ,估计 偏差 是 从 训练 样本 中 进行 再 抽样 得 到 的 . 这 种 再 抽 
样 在 计算 机 上 进行 只 是 个 时 间 间 题 ， 

大 量 的 模拟 计算 证 明 ,用 力 切 法 和 自助 法 所 得 出 的 误 判 概率 
估计 是 比较 好 的 ， 
18. S.5 选择 变 莱 
在 判别 分 析 中 如 同 在 回归 分 析 中 一 样 ,存在 着 选择 变量 的 问 
题 . 在 判别 分 析 中 考虑 选择 变量 的 问题 就 是 要 研究 所 关心 的 这 个 
(或 这 些 ) 变 量 对 区 分 各 个 于 体 是 否 有 好 的 效果 . 这 里 有 几 种 情形 
会 发 生 , 我 们 以 两 子 体 两 变量 为 例 来 作 一 简单 说 明 . 


在 图 18.2 中 有 三 种 情形 , ta) 显示 变量 x, 对 区 分 子 体 IH, 并， 
有 明显 效果 而 x 则 几乎 不 起 作用 . (b) 显 示 两 变量 各 自 单独 对 判 
别 豆 , ,了 ;都 效果 不 太 好 ,而 联合 起 来 则 效果 较 好 . (c) 显 示 仪 用 x 
或 仪 用 x 判别 与 将 二 者 联合 起 来 进行 判别 效果 差不多 ,保留 一 个 
就 行 了 , 当 变 量 个 数 多 的 时 候 情况 就 更 复杂 了 . 
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为 了 解决 选择 哪些 变 二 来 进入 判 麟 法 则 的 问题 ,我 们 首先 要 
对 所 研究 的 变革 (比如 说 p 个 变量 中 的 前 7 个,r 所 志 ) 定 义 一 个 数 
值 指标 5,3..…, ,这 指标 值 越 大 则 反映 这 些 变量 区 分 子 体 的 能 力 越 
强 , 然后 对 这 指标 定 -“` 个 合理 的 阔 值 了 , 当 4> 了 时 说 明 这 些 变量 
的 判别 力 是 好 的 , 否则 就 不 好 . 以 下 我 们 介绍 几 个 用 于 确定 变 基 判 
别 能 力 的 数量 指标 ,它们 都 可 以 称 为 辨别 率 . 为 简化 问题 起 抑 总 假 
设 子 体 是 两 个 :Hi : 记 所 闭 虚 的 全 部 变量 为 la ps 

定义 18. 5.,25 设 子 体 鹉 关于 上 维 向 量 x 二 (x:，…,xo) 有 
均值 向 其 上 ,方差 阵 三, 一 1,2, 定 义 x 的 距离 分 辨 率 指标 为 


ER — HK) (D+ Bm Oo Hh), 


距离 分 辩 率 是 分 别人 在 两 子 体 的 协 方差 阵 下 计算 两 子 体 中 心 
(均值 ) 的 马 民 距离 平方 再 求 和 . 特别 当 互 一 互 =- 荆 时 ,有 
上 一 (一 由) Ch). (18. 80) 

18. 5. 25 所 给 出 的 只 是 形式 上 的 分 辨 率 . 因为 卢 和 大 均 未 
知 . 当 存在 训练 样本 zx,j 二 1,…,n.i 二 1,? 时 ,用 样本 均值 过 和 
样本 方差 阵 五 去 代 赫 jy 及 互 , 便 得 到 实在 的 分 辨 率 . 

现在 考虑 p 个 变量 中 的 一 部 分 (不 妨 设 为 前 7 个 ) 的 分 辨 率 ， 
我 们 用 下 面 的 记号 来 记 向 世 和 矩阵 的 分 块 形式 . 


人 Dr 
a 一 | 
Chx1) 站 次 
和 六 | 
让 ep 一 站 AY |,, 
加 Pp—r 
于 是 了 的 前 ~ 个 向 量 为 “均值 为 大 , 方 闭 阵 为 王 :, 当 x 属 于 
HI,i 二 1,2. 记 x 的 分 辩 率 为 4, 则 有 
A = 3 WE + (2 CA). 


(C18, 90) 


(C18.91) 
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当 革 一 工 一 三 时 ,中 一 史 一 玉 ! .有 
COATT CoA). {]8. 92) 
可 以 证 明 
4 莹 和 . 《18. 93) 
为 考察 后 m > 个 变量 对 提高 分 辩 率 是 否 有 作用 ,一 个 自然 的 想 
法 是 看 C4. 一 A)/A 的 大 小 ,在 正 态 等 方差 的 条 件 下 有 一 个 理论 
上 的 结果 ， 
定理 18. 5.26 设 也 一 和 CE 一 12. 于 (5XD 十 ) 为 训练 样 
本 ,i 一 1,2. 当 A 和 4 是 用 样本 均值 和 样本 方差 阵 计 算 时 有 
np 一 13 一 和 4 
疡 一 地 十 也 
其 中 = 二 pn. 十 nc 二 n(n 一 2)/ Gan). | 
这 定理 给 出 了 一 个 检验 .但 在 实际 使 用 时 正 态 假定 未 必 成 : 
立 , 方 益 阵 也 不 一 定 相等 .因此 在 使 用 上 述 下 统计 量 时 不 作 哲 泥 
于 按照 严格 的 下 检验 进行 .通常 只 要 给 定 一 个 国信 遍 -( 例 如 天 > 一 
10) 即 可 进行 检验 了, 
在 进行 向 前 或 向 后 的 逐步 判别 时 ,总 是 考虑 > 个 变量 与 -十 1 
个 变量 的 关系 . 这 时 严 统 计 直 有 形式 
4 一生 
“十 和 
因此 ,当天 兰 庆 时 :就 在 已 入 选 的 > 个 变量 中 肯 漆 加 第 > 十 1 
个 或 从 已 入 选 的 + 十 1 个 变量 中 不 剔除 所 检验 的 那个 变量 ;否则 ， 
就 不 在 已 入 选 的 > 个 变量 中 添加 检验 的 另 一 个 变量 ,或 在 已 入 选 
的 * 十 1 全 蛮 生 中 剔除 所 得 验 的 那 一 个 ， 
距离 分 准 率 指标 有 适 常 用 于 分 布 未 知 的 情形 ,但 是 在 正 态 分 布 
问 方差 阵 的 条 件 下 ,我 们 有 更 好 的 检验 法 , 即 利 用 第 18. 3 节 中 介 
绍 的 关于 均值 检验 的 4 统计 量 . 
沿用 定义 18. 5. 68 中 的 记号 ,要 考虑 全 部 p 个 变 基 是 否 对 类 
“384 。 


FF 一 


站 一 让 一 太一 1)， 


下 一 《一 和 一 2) 《18. 94) 


别 起 作用 ,实质 上 是 检验 假设 

FH;H=h. (18, 95) 
当 玉 被 接 党 时, 说明 这 卢 个 变 暴 尤 法 区 分 鹉 , 囊 ;否则 叮 以 区 分 
根据 定理 18. 3. 11, 检 验 统 计划 可 取 


IW| IW| 
mT BW (C18, 96) 


A 


其 中 
2 2 | ， 
Wo= Dns; 一 Dx, 一 六 |， (18. 97) 


上 


T=n§= | 1 一 Lr | x， 


2 
2 _ 
百 一 了 -= 人 XI — XY). 


五 ,T 和 BB 分 别称 为 组 内 高 差 阵 , 爹 离 差 阵 利 组 间 离 差 阵 . 根据 定 
理 18.3- 12 有 
A ~ Atpsn — 2,1). 《18. 98) 
对 给 定 的 水平 ws, 记 Ap 一 2,1) 为 Atpn- 2 1) 的 下 a 分 位 点 ， 
即 
PiACpsa— 21) Ap 21 =a (18.99) 
则 假设 518. 95) 的 检验 法 则 为 
否定 域 。 W= {hp < 扫 4(pm 一 2,1)}. 《18. 100) 
假定 要 考虑 请 个 变 基 中 的 > 个 是 和 否 对 判别 起 作用 ,不 妨 假定 
是 前 7 个 ,沿用 (18.90) 所 既定 的 记号 ,相当 于 检验 假设 


Hunn = A. (18. 101》 
相应 的 4 统计 量 为 
[WU] [Ww | 


A 一 ~— Atrsn — 2,1). 


|T™ | IB 二 WY:| 
当 此 >- 个 变量 通过 了 检验 , 即 否定 了 五 : 之 后 ,我 们 进而 考虑 其 余 
六 一 ”个 变量 是 否 对 判别 法 则 能 提供 进一步 的 附加 信息 . 实际 上 是 
“385。 


要 检验 在 给 定 前 ~ 个 变 基 时 ,后 p 一 r 个 变量 的 条 件 均 值 是 否 相 
同 , 即 检验 假定 
Hy: E(x x 一 五 (| (18. 102) 
其 中 E(x 中 |x") 表 示 在 子 体 中 给 定 x 的 条 件 下 x 的 条 件 
期 户 . 这 时 可 以 证 明 ,相应 的 4 统计 量 为 
A wi 一 和 ~ Al(p—rn—r— 2,1), (18,103) 
由 上 式 中 可 看 出 4 统计 量 有 类 似 于 条 件 概 率 公 式 的 性 质 , 这 
性 质 使 得 逐步 判别 分 析 特 别 方便 . 如 果 从 hcp 出 发 检验 而 否定 
了 五, 则 说 明 其 余 p 一 r 个 变量 对 判别 还 能 提供 信息 , 在 逐步 判 
别 中 要 入 选 p 一 r 个 变量 中 的 一 个 , 我 们 记 


A (18. 104) 
为 由 变量 i :x 所 生成 的 在 统计 量 ,而 记 
A sie? 7 并 Er 《18. 105) 


为 当 变 量 x ,…* ,xi 已 人选 后 ,检验 变 基 zx 所 提供 的 附加 信息 的 4 
统计 量 , 于 是 我 们 入 选 x 当 太 1..… .达到 最 小 ,对 j==r 十 ls…sp 
由 (18. 967? 可 以 衍生 出 一 个 递 推 琳 开 公式 
A 一同 AN 
= A (18. 106) 
= A A 


具体 的 计算 过 程 限于 篇 幅 便 不 再 详细 介绍 ,请 参阅 [18j. 


18.6 主 成 份 分 析 


18. 6. 1 主 成 份 的 定 头 
定义 18. 6.1 设 * 为 户 维 行 随机 向 量 , 其 方差 阵 为 王 若 王 的 
特征 值 为 丸 字 为 实 … 实 祝 : 相 应 的 标准 正 交 的 特征 向 量 为 AA 
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为 的 第 个 主 成 份 tprincipal ecomponent 》， 
天 一 1 2 起 

定理 18.6.2 (1) 第 天 个 主 成 份 yi 一 xYt 有 方 莽 加 ,有 二 1， 
站 


(2) 若 : 关 庆 则 第 : 个 主 成 份 六 与 第 5 个 主 成 份 岂 互 不 相 英 ， 
BI covft yy 门 一 0 
记 王 一 厂 A 太 三 一 (Yo 一 diag(R A A), po (ys 
… yp) 则 有 
¥ = x voly) 一人. C18. 107) 
所 以 , 主 成 份 分 析 就 是 将 原 随 机 向 呈 + 作 一 正 交 变换 ,使 得 新 
的 随机 向 其 的 每 一 分 量 都 是 原 向 量 的 一 个 线性 组 合 , 且 它们 之 间 
两 两 不 相关 ， 
定理 18. 6. 3 主 成 份 有 下 述 重要 特征 ， 
Tt 人 = max V(xa), 


lal = 
Co = max Vxra), 
“ol =1 


a YI 


(ye 1) 一 max Vra), 
Vy,) = min V Cxa), 

由 定理 18. 6.2 及 18.6,3 可 见 , 第 1 主 成 份 是 在 lei =1 的 
条件 下 ,x 的 所 有 线性 组 合 xa 中 方差 最 大 的 ,因而 刻 划 了 + 的 最 
主要 特征 ;第 2 主 成 份 是 在 上 a 一 1 朋 与 第 1 主 成 份 不 相关 的 约 
束 下 ,x 的 所 有 线性 组 合 xa 中 方 姜 最 大 的 ,因而 刻 划 了 zx 的 第 2 
个 主要 特征 :…… 第 六 主 成 份 是 在 ‖a| 王 1 且 与 第 12 一 1 
主 成 份 不 相关 的 约束 下 ,x* 的 所 有 线性 组 合 xa 中 方差 最 大 的 , 因 
而 刻 划 了 x 的 第 “个 主要 特征 ,… ,等 等. 

在 实际 问题 中 ,由 于 x 的 分 布 并 不 知道 ,因此 不 能 直接 按照 定 
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多 18.6. 工 来 求 出 之 的 主 成 份 ,而 必须 借助 于 观测 数据 . 

定义 18.6.4 设 x 的 数据 阵 为 Xowp' 样 本 方差 阵 为 5= 
了 x" 一 上 11,|X. 设 $ 的 特征 根 为 入 之 久之 … 之 入 ,相应 的 标 
准 正 交 特征 向 基 为 了 ,7 ; 则 yi 一 XY 称 为 于 的 第 上 个 样本 主 
成 份 向 量 ,一 1，… ， 户 . 

记 子 一 Ce: 则 了 = 六 ,其 中 三 = (7 .出 于 有 为 
三 的 估计 ,因此 相当 于 第 个 让 或 份 在 n 次 观测 中 的 估计 和 值 ,其 
方差 估计 为 让 王 1，… sp. 

在 深入 介绍 主 成 份 分 析 的 应 用 之 前 , 先 要 指出 它 的 一 个 主要 
的 缺点 , 即 不 县 备 尺 度 不 变性 (scale invariance). 在 实际 问题 中 , 记 
维 随机 变量 * 的 各 个 分 量 可 能 是 不 同性 质 的 景 ( 例 如 有 的 是 长 度 ， 
和 有 药 是 重量 . 右 的 四 体积 等 ); 或 者 是 同一 性 质 的 量 但 取 不 同 的 单 
位 《例如 同 是 长 度 , 有 的 以 米 为 单位 ,而 有 的 以 厘米 为 单位 ). 因此 
当 用 不 同 的 尺度 来 记录 = C(x" xp) 时 ,相当 于 将 x 作 一 变 撞 
到 x 二 xD.D=diag (di;ds，"…ydy). 息 定 d1，… ,ds 不 全 相等 , 则 
由 x 出 发 作 主 成 份 分 析 与 从 x 出 发 作 主 成 份 分 析 所 得 到 的 结果 
是 不 同 的 . 

交 服 上 还 国难 的 一 个 办 法 是 将 xz 归 1 化; 凤 令 x' 二 xD,D= 


diag | 志 ，…, 直 | ,其 中 轨 为 zx 的 方差 .这 梯 ,x* 的 各 分 量 有 方差 


1 ,而 各 分 量 之 间 的 协 方差 就 是 相关 系数 . 从 x* 出 发 作 主 成 份 分 析 
相当 于 在 定义 18. 6. 1 中 用 x 的 相关 阵 代 符 方 差 阵 ,而 在 主 成 份 
的 表达 式 中 用 x" 去 代 兰 x. 这 样 做 的 好 处 是 不 致 于 因 某 些 重要 的 
变量 的 观测 数据 的 绝对 值 过 小 而 被 “淹没 " 掉 ; 其 缺点 是 有 可 能 “ 放 
大 ?观测 误 佐 ,从 面 加 量 某 些 不 重要 变量 的 份量 ， 


18. 6.2 主 成 份 的 应 用 


首先 我 们 给 出 一 个 主 成 份 分 析 的 实例 . 
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例 18.6.5 有 贝 塞 尔 (Beree) 和 维尔 博 (CWilbaut) 收 集 了 在 11 
年 中 5 个 气象 变 王 的 观测 数据 如 表 18. 1. 


表 18.1 
年 度 二 EE En 全 Ts 
1920 1921 87 ,9 19.6 1.9 1661 28. 37 
1921—1922 9.9 TI5.- 之 90.1 968 23.77 
1922—1923 153.0 19.7 56.6 1353 26. D1 
1923—1924 132.1 17-.0 91 .六 l293 25,74 
1924 1925 88. 8 18.3 93.7 1153 26. 68 
1925—1926 220.9 17.8 106,.9 1286 中卫 
1926 一 1827 117.7 17.8 B5.5 1103 28. OO 
1927—- 1928 109.0 18.3 41.8 1574 28. 37 
1928: 1929 156.1 17.% 57. 4 1222 24. 36 
1929—1930 181.5 15.8 了 4 站 ,各 02 21.66 
1930 19831 18].4 17.0 74.3 1158 24.37 
其 中 5 个 变量 的 含义 是 : 
zi 一 11 至 12 月份 的 降雨 量 Cmmy)， 
2 一 7 月 份 的 平均 气温 4C)， 
了 3 一 月 份 的 降雨 量 Cmm) + 
x 一? 月 份 的 辐射 度 Cmm 酒精 ?， 
Zs 二 平均 产量 ( 公 担 / 英 雷 》. 
由 以 上 数据 算得 方差 和 相关 和 矩阵 如 下 
1794  — 4.473 726.9 一 2218 一 52.01 
一 0.0087 1. 488 一 26.62 197.5 1. 577 
0.491 一 0.624 1224 一 6203 一 56.44 
— 0. 239 0.738 一 0.808 48104 328.9 
一 0.607 0 640 一 0.798 0. 742 4. 087 


《18. 108) 
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在 此 和 矩阵 中 , 主 对 角 线 上 是 方差 ; 主 对 角 线 以 上 是 方差 ; 主 对 


角 线 以 下 是 相关 系数 . 

对 前 4 个 变量 (xi 一 z,) 作 主 成 份 分 析 . 由 方差 矩阵 出 发 算得 4 
个 特征 根 依 次 为 

A 二 49023,h 二 1817, 一 283 入 一 0.6. (18. 109) 
相应 的 特征 向 大 为 


(一 0.049， 0.004, 一 0.129， 0.990)， 
(一 0.954， 0.003， 0.288， 0.084)， 
(18. 110) 
(— 0.296, ~ 0.008, 0.949, 0.109)， 
(一 0.005， 0.999， 0.008, 一 0.003). 
反之 ,由 相关 矩阵 出 发 算得 4 个 特征 根 依次 为 
和 1 二 2.60,h = 0.96,% = 0.28:h = 0.16. (18. 111) 
而 相应 的 特征 向 车 为 
{ 0.291,— 0.506, 0.577, — 0.571), 
( 0.871, 0.425, 0.136， 0.205)， 
《一 和.332， 0.742， 0.418, — 0.405), 
(一 0.214, 一 0.111， 0.688， 0.685). 
由 以 上 计算 结果 可 以 看 出 ,第 2 个 变量 (x,) 在 由 方差 阵 计 算 
的 主 成 份 中 几乎 全 部 集中 在 第 4 个 主 成 份 中 (系数 几乎 为 1) ,而 
在 前 三 个 主 成 份 中 所 占 比 重 几 平 为 零 ( 系 数 分 别 为 0. 004,0. 003 
和 一 0. 008), 相 友 ,在 由 相关 阵 计算 的 主 成 份 中 ,标准 化 的 变量 x? 
在 前 三 个 主 成 份 中 都 占有 相当 的 比重 . 从 问题 的 实际 背景 来 看 , 显 
然后 一 分 析 结 果 更 符合 实际 . 
不 论 是 从 方差 阵 出 发 还 是 从 相关 阵 出 发 , 主 成 份 分 析 都 是 通 
过 对 方 装 阵 或 相关 阵 进 行 谱 分 解 进行 的 .下面 统 一 用 三 记 方 差 阵 
或 相关 阵 ,用 x 记 原 变量 或 标准 化 变量 . 我 们 来 考虑 x 与 主 成 份 y 
之 闻 的 相关 性 . 记 


《1g. 112) 


三 一 六 Ar 二 xf, ‘18, 113) 
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其 中 厂 为 正 交 阵 ;A= diag (hh Ci Ap), 我 们 有 


covtxT ,y= =iA, 《18. 1142 
岚 此 变量 = 与 主 成 份 % 之 间 的 相 闫 系数 为 
py 《18. 115) 
【CEI 芋 Oi 


其 中 站, 为 三 的 第 i 行 第 j 列 元 素 ,oi 为 zx; 的 方差 ,特别 , 当 x 为 标 
准 化 变量 时 有 
pi 一 Vi; Via. (18. 116) 
容易 验证 
So = 1 i= ] sp. 《18. 117》 


定义 18.6.6 称 丰 为 用 主 成 分 y; 解释 的 变量 zx; 的 变 差 
比例 . 

对 例 18. 6.5 中 前 4 个 变量 xz 与 由 之 产生 的 主 成 份 
iv 用 相关 阵 , 见 (18. 112)) ,我 们 用 会 式 (18. 116? 可 得 到 它 
们 之 间 的 相关 系数 阵 如 下 


Yl 2 Ys Ns 
| 0.468 0.862 0.177 一 0081 
Xs 一 日 ,89 0.420 0 397 “一目 042 (18, 118) 


x 0.930 0,135 0, 223 0. 260 
X14 —0.919 0.202 — 0.216 0. 259 
这 样 ,对 变量 x1, 第 1 主 成 份 解释 它 的 变 差 (0. 468)?X100% 
二 21, 9%, 第 2 主 成 份 解释 它 的 变 差 (0. 862)* X100% 二 74, 3 妈 ， 
在 被 研究 变量 的 个 数 (p) 相 当 大 时 ,研究 数据 的 结构 ,发 现 其 
特征 是 较 困难 的 . 利用 主 成 份 分 析 可 以 降低 数据 的 维 数 ,具体 的 作 
法 是 选取 适当 的 (< 之 p) ,用 前 站 个 主 成 份 的 观测 数据 来 代替 原 米 
。391 ， 


的 数据 阵 . 如 何 选 定 呢 ?这 就 要 看 前 个 主 成 份 能 在 多 大 程度 上 
来 解释 河 来 的 个 变量 . 用 定义 18. 6.6 知 2 的 方差 中 中 被 第 7 
个 主 成 份 解释 的 部 分 为 si6$5. 我 们 容易 证 明 


p 
DV ont = A, (18.119) 
i=1 


所 产 由 各 
Don = DSN= Y=tr(D. (18.120) 
了 一 1 ,一 1 


因此 ,我 们 如 用 tr( 避 来 表示 原来 个 变量 的 “总 变 差 "的 话 , 则 
(第 7 个 主 成 份 的 方差 》 
21( 总 变 差 ) 
就 表示 第 ;个 主 成 份 所 解释 的 变 差 在 总 变 差 中 的 比例 . 当 我 们 选 
前 个 主 成 份 来 代替 原来 的 p 个 姿 量 时 , 则 这 个 主 成 份 所 解释 
的 变 差 在 总 变 差 中 的 比例 为 


《18, 121) 


二 (18. 122) 


因此 可 以 根据 问题 的 需要 事先 给 出 一 个 阅 值 如 (例如 加 一 90% 或 
95% 等 等 ), 当 


DD (18. 123) 


就 取 前 个 主 成 份 
另外 一 种 选择 主 成 份 的 方法 是 : 
孟 弃 那些 相应 的 特征 根 小 于 ( > 为 ] /zp 的 那些 主 成 份 . 特别 
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当世 为 相关 阵 时 ,丢弃 那些 相应 的 特征 值 小 于 ] 的 主 成 份 . 

根据 实践 经 验 , 用 前 一 种 方法 往往 会 保留 过 多 的 主 成 份 而 用 
后 一 种 方法 往往 丢掉 过 多 的 主 成 份 . 国 此 ,三 以 根据 实际 问题 的 需 
要 从 上 述 两 种 方法 中 折 中 ,选取 一 个 适当 的 名. 

例 18.6.7 在 例 18.6.5 中 考虑 用 相关 阵 计 算 的 主 成 份 . 用 

(18. 123)? 的 方法 , 取 必 一 90 上 站: 则 太一 3 即 取 前 3 个 主 成 份 ,而 用 
后 一 种 方法 得 到 总 =1, 即 只 取 第 1 个 主 成 份 . 折 中 一 下 , 取 上 一 2 
是 适当 的 . 
在 实际 问题 中 , 主 成 份 (特别 是 前 儿 个 主 成 份 ) 往 往 有 一 定 的 
实际 会 义 , 如 何 解释 主 成 份 的 含义 要 根据 具体 问题 的 客观 背景 去 
分 析 ,不 是 一 两 句 话 能 说 清楚 的 .下 面 介 绍 一 种 主 成 份 在 解释 数据 
的 尺度 和 形状 方面 的 应 用 . 

假定 第 -“ 主 成 份 中 各 变量 的 系数 都 是 正 的 , 则 由 止 交 性 一 定 
可 以 推出 其 它 主 成 份 的 系数 是 有 下 有 负 的 ,于 是 第 一 主 成 份 便 可 
解释 为 扩 度 因子 人 scale factor 或 size factor), 而 其 它 被 选中 的 主 
成 份 可 解释 为 不 同 的 形状 因子 (shape factorts)). 这 种 情形 的 出 
现 可 有 下 述 定 理 和 做 保证 . 

定理 18. 6.8 若 方差 窍 阵 的 所 有 .元素 芍 为 非 负 数 , 则 1 证 
成 份 的 系数 均 为 正 值 . 

例 18.6.9 对 100 名 学 生 在 5 门 课 的 考试 中 的 成 绩 进 行 统 
计 , 这 5 门 课程 的 考试 有 闭卷 考试 , 有 开卷 考试 ,具体 内 容 如 下 
所 列 : 

2 一 力学 ( 闭 )， 
zz 一 向 量 ( 佬 )， 
2 一 代数 ( 开 )， 
4 一 分 析 ( 开 )， 
2 一 统计 ( 开 ). 
样本 协 方差 阵 为 
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302,3 125.8 100.4 105.1 116.1| 
170.9 84.2 93.6 97,9 
111.6 110.8 120.5 (18, 124) 


217.9 153.8 
294. 生 
算得 样本 方差 阵 的 特征 很 分 别 为 
A < 一 679. 2 ,A 一 199. ,As 一 102. B.A = 83. 7 ,As 一 31. 8. 


(18. 125》 
要 选择 个 主 成 份 , 根 据 第 一 种 方法 { 见 18. 6. 23), 若 定 宁 一 0.9， 
则 二 =4; 按 第 二 种 方法 得 和 一 1, 因 此 经 过 折 中 可 考虑 此 一 2 或 3. 
在 这 里 为 使 问题 简化 定 &= 2, 于 是 前 两 个 主 成 份 为 


y= 0.51x + 0,37x; 十 [0.3573 + 0. 457 十 0. 53z5， 
Ys C= 0. 73x 二 0.217xs 一 0.08zrs ~ 0. 3074 一 0. 33x5. 
(18, 128) 
这 里 第 1 主 成 份 的 系数 均 为 正 ,因此 可 作 尺 度 因子 .将 第 1 主 成 份 
的 各 项 系数 刁 上 一 个 相同 的 因数 ,使 之 和 为 1, 得 到 


y= 0. 2371 十 0. 17xs 二 0.16zxs 二 0. 20x4 二 0. 24xs, 

《18. 127) 
y'1 可 作为 学 生 的 平均 成 绩 , 用 来 刻 划 学 生 的 学 习 总 效果 . 对 第 二 
主 成 份 注意 冯 和 x; 的 系数 为 正 而 这 两 门 均 为 财 卷 考试 ,但 rs 
和 zs 的 系数 为 负 而 这 三 门 均 为 升 卷 考试 ,因此 ys 作为 闭卷 考 成 
绩 与 开卷 考 成绩 之 差 , 可 用 来 检查 学 生 应 付 开卷 考 或 闭卷 考 能 力 
的 度量 . 以 某 个 学 生来 说 ,y 的 值 大 表示 他 (她 ) 应 付 闭卷 考 的 能 
力 比 应 付 开卷 考 的 能 力 大 ;ys 小 则 情形 相反 ,下面 列 出 5 个 学 生 
的 成 绩 及 100 个 学 生 的 总 平均 成 线 如 表 18. 2. 
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从 表 18. 2 中 可 以 一 目 了 然 地 看 出 这 5 个 学 生 的 总 平均 成 绩 
及 应 付 开 闭卷 考试 的 能 力 ( 与 总 平均 成 绩 相 比较 ). 


19 多 元 分 析 CI) 
19. 1 典 则 相关 分 析 


19. 1. 1 典 则 相关 变量 


典 则 相关 分 析 (canonical correlation analysis) 是 用 于 分 析 两 
个 随机 向 量 之 间 相 关 性 程度 的 一 种 统计 方法 . 设 x= (x ,XY,》 
和 yy 一 《yyy)" 为 两 个 随机 向 量 . 如 何 分 析 * 与 ?之 间 的 相关 
柱 昵 ? 当 # 一 ga 一 1 时 ,显然 可 以 用 x 与 了 之 问 的 相关 系数 p(x,y) 
来 描述 ,而 当 疡 和 9 之 中 有 一 个 大 于 1 时 ,就 不 能 直接 计算 x 与 y 
的 由 关系 数 ,但 的 线性 函数 与 了 的 线性 函数 之 间 的 相关 系数 是 
可 以 计算 的 ,因此 可 以 考虑 分 别 选 择 和 3 的 适当 的 线性 沙 数 ,用 
它们 之 间 的 相关 性 程度 来 刻 划 x 和 了 之 间 的 相关 程度 . 

设 a 为 任 一 维 常 向 量 ,6b 为 任 一 9 维 常 向 量 . 

定义 19. 主 1 设 轧 维 常 向量 a 和 9 维 常 向 量 咏 满足 : 

[plaixsBIy)| = max lpla'x,b y)|. 


则 称 ex 和 5bTy 为 x 和 3 的 第 … 组 典 则 相关 变量 ,| etaix,Piy)| 
称 为 相应 的 典 则 相关 系数 . 

由 定义 ,第 -组 典 则 相关 变量 之 间 的 相关 系数 在 所 有 关于 x 
和 y 的 线性 医 数 之 中 达到 最 大 ， 

但 仅 用 一 组 虚 则 相关 变量 来 刻 划 随机 向 量 之 闻 的 关系 还 是 不 
够 的 ,进一步 可 以 考虑 在 所 有 与 afx 不 相关 的 et 和 所 有 与 By 
不 相关 的 妨 ? 中 挑选 qlx 和 酸 y,, 它 们 之 间 的 相关 系数 达到 最 太 ， 
等 等 . 
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定义 19.1.2 对 《之 2, 设 第 4 一 1 组 典 则 相关 变 基 已 经 定义 ， 

设 eg 和 分别 为 p 维和 9g 维 常 向 址 ,请 足 : 

|2CeTx 87) = max IetaTr by)|, 
其 中 max 的 含义 是 在 garx) = hy) om—1 Mp(la rx,ax) 
Py by) 二 0,j) 一 1,… 站 一 1 的 条 件 下 求 极 大 , 则 称 qlx 各 y 
为 上 与 了 的 第 上 组 典 则 相关 变量 . ,wialx ,可 yy) | 称 为 第 个 典 则 
相关 系数 . 

由 以 上 定义 知 , 典 则 相关 变 基 的 组 数 * 不 超过 min(p,q)， 且 
jplatxr,bry) | 守 p| Calx ,By) | 宇 … 实 |plalx, 如 y)1. 假定 事先 指定 
一 个 阅 值 ,, 则 可 以 根据 |ptelx ,by) | 的 大 小 将 组 典 则 相关 变 
基 分 成 两 类 ,第 -类 满足 |pCajx ,下 7) | 之 和 ,代表 天 与 了 相关 程度 
较 大 的 那 部 分 ,第 二 类 满足 1efejJxz: 呈 | 一 上 :代表 与 了 相关 程 
度 较 小 的 那 部 分 . 


19, 1. 2 典 则 相关 变量 的 计算 


设 随机 向 量 (x' ,y+) 的 方差 阵 为 
|= | V OrICov ry) | |= (yy ,| 
\ covCy, xr)V (Cy)! 小 


定理 19. 1.3 设 >g, 且 TY 和 Y_ 均 为 非 奇 异 降 , 对 称 正 定 
阵 V. 8 YY 二 有 特征 根 加 闫 加 写 … 写 友之 0,4 为 相应 
于， 区 单位 化 村 全 向 是 -9+ 今 

a = md, Vhs b=V, da, i 12.,9. 

则 gixob'y 为 第 i 组 典 则 相关 变量 ,9+ 为 相应 的 典 则 相关 系数 . 
在 上 述 定理 中 , 当 p 之 qg 时 ,可 反 过 来 求 VV 了 VV Vs 
y.。 二 的 特征 根 和 特征 向 量 mw, 令 到 一 Yo 一 2 
Vt st—=1,2,°,p. 


v=v|¥ C19.1) 
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在 实际 问题 中 ,一 般 不 知道 方差 阵 V, 而 是 有 | “| 的 ”个 样本 


i Ten 


下 | Kez, | | ， 深圳 », 
1» ‘(™ | | | ,计算 | y| 的 样 个 方 卷 阵 
加 
| 

将 定理 19. 1.3 中 的 VyVoysVy YY, 分别 换 成 Si 05315,， 
S,， 则 可 得 到 样本 形式 的 典 则 相关 变量 中 xz, 名 7 和 典 则 相关 系数 
第 19， 

大 样本 理论 证 明 : 当 m>co 时 有 遍地 号, 旋 一 加 及 六 二 站， 一 
lg. 


19. 2 ”因子 分 析 


因子 分 析 (factor analysis) 是 一 种 用 来 分 析 隐 藏 在 表象 背后 
的 因子 作用 的 一 类 统计 模型 和 方法 , 它 起 源 于 心理 度量 学 
(phsycholometrics) ,在 方法 上 与 主 成 份 分 析 有 密切 联系 ， 


19. 2. 1 正 交 因子 模型 


投 x 为 一 个 p 维 可 观测 随机 向 量 ,假定 * 受到 m 个 不 可 观测 
的 随机 因子 的 控制 , 称 这 mx 个 影响 x 的 因子 为 公共 因子 ,用 mm 维 
随机 向 量 了 来 表示 ,又 假定 了 对 xx 的 影响 是 线性 的 , 刚 * 与 了 之 
闻 的 关系 可 用 下 述 模型 来 表述 

模型 19,2.1 x 二 二 Lf+ie 
其 中 上 为 p 维 常 向 量 , 表 了 示 x 的 均值 :LL 为 pxXm 维 常数 阵 江 的 第 
i 行 表 示 公 共 因 子 对 x 第 i 个 分 量 z 的 影响 系数 ;s 为 p 维 随 机 
变量 ,代表 x 中 与 了 无 关 的 那 ~- 部 分 , 称 为 特殊 因子 . 

在 模型 19.2,1 中 ,f 和 都 是 不 可 观测 的 ,假定 它们 满足 下 
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入 一 


述 条 件 ， 

C1) 了 与 5 相间 独立 ， (19. 2) 

C2) EC =0, VOCS,. 

(3) 匹 (6 一 0，V(C6) 一 亚 . 守 为 对 角 阵 . 

在 上 述 条 件 中 ,要 求 VY()==1,: 即 要 求 各 因子 之 疗 不 相关 ,这 
样 的 模型 便 称 为 正 交 因子 模型 . 在 正 交 因子 模型 中 ,公共 因子 f/ 
对 x 的 省 分 量 都 起 作用 ,而 特殊 关子 6 的 第 i 个 分 量 & 只 对 x 的 
第 i 个 分 量 x; 起 作用 . 模型 19. 2. 1 中 和 矩阵 工 称 为 载荷 阵 (toading 
matrix)* 是 有 待 确定 的 ， 

在 模型 19.2. 1 中 ,假定 将 /= 了 融 代 入 ,其 中 了 为 正 交 矩阵 ,天 
为 号 一 个 闫 维 随机 向 量 , 则 有 x 二 Hh 十 8; 其 中 玉 =LT. 容易 验证 ， 
在 (19.2) 中 ,用 产 代 替 了 后 ,各 项 茶 件 仍然 成 立 . 因此, 正 交 因子 模 
型 是 不 确定 的 .这 种 不 确定 性 虽然 在 一 定 程度 上 造成 了 求解 的 困 
难 , 但 男 一 方面 也 提供 了 更 多 的 可 选择 性 .- 

引 理 19. 2.2 在 模型 19.2.1 中, 记 L= (0) Y=diag tt, 
… :加 ) ,由 条 件 (19.2) 可 得 

(VCr)== 上 LL 十 亚 , 即 


oT ) 2 一 Ds 十 ， 了 一 lr ,pp, 


(C2) covCx, 让 二 LL, 或 
COv Cr fo,) 一 dij 1 一 ls ps 了 一 ] ,I 
在 的 方差 中 ,通常 称 由 公共 因子 贡献 的 部 分 [ > 已 ] 为 公 
共性 (cemmunality)5 而 由 特殊 因子 贡献 的 部 分 ( 禾 ) 称 为 唯一 性 
(uniqueness). 上 在 汝 (wj;) 二 1 时 表示 五 与 方 的 相关 程度 , 称 为 
2 在 方 上 的 载荷 (loading). 而 
有 一 由 天 (19. 3) 
刻 划 了 /对 所 有 户 个 变量 影响 的 程度 , 称 为 方 对 工 的 贡献 
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(contribution). 


上 述 关系 在 分 析 因 子 结 构 时 有 重要 作用 ， 
19. 2. 2 ”估计 方法 


在 因子 模型 19. 2. 1 中 ,关键 是 要 估计 载荷 阵 工 和 特殊 因子 方 
差 阵 Y¥. 设 x 有 + 个 观测 样本 ,并 据 此 已 计算 出 样本 方差 阵 $5 和 相 
关 阵 R. 通常 从 样本 相关 阵 只 出 发 进行 计算 ,这 相当 于 已 将 幸 各 分 
量 的 方差 都 取 成 1 了 . 从 模型 上 看 ,这 样 做 相当 于 将 19,2.1 中 工 
改 为 五- 堪 , 其 中 历 一 diagfofr ,gtxp)) 而 将 E 改 为 五， 
而 条 件 (19. 2) 仍然 成 立 (将 < 改 为 自 ., 下 面 介绍 两 种 估计 志和 站 
的 方法 . 

方法 19.2.3 主 成 份 法 . 由 引 理 19.2. 2 中 的 (17 式 , 设 辣 之 
久 写 … 实 入 是 样本 相关 阵 员 的 特征 根 导 ,… 汪 为 相应 的 单位 特征 
向 量 . 对 给 定 的 公 因 子 数 m(<p) ,对 因子 载荷 阵 工 的 估计 为 


L=|( Vii: Vihb:.: Vb (19. 4) 
特殊 方差 的 估计 为 


y=diag (fy, ,yp,), 《19. 5) 


其 中 必 =x; 一 入， 1 一 1 ,pp, 

ri 为 的 第 i 个 对 角 元 素 . 

在 主 成 份 方法 中 .相当 于 用 前 mw 个 主 成 份 去 表示 潜在 的 r 个 
因子 . 这 相当 于 给 主 成 份 以 -… 定 的 物理 解释 . 

在 实际 问题 中 ,因子 的 个 数 mr 通常 是 有 待 确定 的 . 确定 mm 的 
方法 通常 有 以 下 几 种 ， 

取 m, 使 得 RR 一 LL 接近 对 和 角 阵 , 即 R 一 LL" 的 非 对 角 元 接近 
零 ， (19. 6) 
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取 m, 使 得 DD > 85%. (19.7) 

取 m9, 使 得 和 宇 1 ,7 二 ly ym ,7 一 mt 十 1 ,pp，(19. 8) 

在 实际 问题 中 可 用 不 同 的 方法 确定 mm, 然 后 从 中 取 一 个 与 实 
际 问题 背景 最 接近 的 解 . 

方法 19.2.4 极 大 似 然 法 ,假定 会 共 因 子 了 和 特殊 困 6 子 < 均 
为 正 态 分 布 , 则 的 分 布 为 


NH 2)=N, (LL +Y). (19. 9) 
对 z 的 独立 同 分布 样 本 x,…' ,x ,可 求 得 其 对 数 伺 然 函数 为 
logL(u5) 一 一 log C2x) 一 隐 log|3| 


一 [E'S 十 2 一 由 人 一 由 站 ， 
(19. 10) 


其 中 说 为 样本 均值 ,5 为 样本 方 莽 阵 . 由 于 2=LL 十 ,logL《p, 台 
依赖 于 工 和 .为 计算 方便 起 见 ,对 工 ,¥ 加 如 下 约束 


L'Y !'L=A, C19, 11) 
min iog LCH,2) 《19. 12》 


的 解 , 上 述 求 解 过 程 可 通过 非 线性 优化 的 方法 寻找 数值 解 . 

在 上 一 小 节 中 提 到 ,如 果 工 为 一 个 载荷 阵 , 则 对 任 一 正 交 算 
阵 了 TIT 一 TT 一 1), 上 "一 LT 仍 是 一 个 因子 载荷 阵 , 相 当 将 原来 
的 公共 因子 了 作 一 个 正 交 变换 后 变 到 =T"f. 这 一 性 质 给 我 们 提 
供 了 寻找 “理想 ?因子 结构 的 思路 . 上 所谓“ 理想 "的 因子 结构 就 是 说 ， 
我 们 希望 看 到 :每 个 变量 的 载荷 都 尽 可 能 集中 在 某 个 因子 上 ,而 在 
其 他 因子 上 的 载荷 尽 可 能 小 . 根据 上 述 思路 , 凯 瑟 (Kaiser) 于 1958 
年 提出 一 个 寻找 理想 因子 结构 的 准则 , 称 为 方 问 最 大 淮 则 
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(varimax eriteriony: 记 记 一 Ds, 二 1,p， 记 节 为 经 过 旋转 
后 的 载荷 ,用 
lf 
;一 SLD/ [去 各 
来 度量 第 ;个 因子 在 户 个 变量 上 载荷 的 离散 度 . 理论 上 说 Vj 应 越 
大 越 好 ,j 二 1,…,m. 从 总 体 上 来 讲 , 要 求 
T 一 2 Vv, (19. 14) 


达到 最 大 . 具体 的 算法 有 各 种 数值 方法 可 采用 . 
19.3 聚 类 分 析 


聚 类 分 析 (cluster analysis)? 是 一 类 名 目 繁多 的 将 数据 所 对 应 
的 研究 对 象 ( 客 体 ? 进 行 分 类 的 统计 方法 . 这 一 类 方法 的 共同 特点 
是 :事先 不 知道 类 别 的 个 数 与 结 称 : 据 以 进行 分 析 的 数据 是 客体 之 
间 的 相似 性 (sitnilarity) 或 相 异 性 (dissitmmilarity) 数 据 . 将 这 些 相似 
《 相 异 ?性 数据 看 成 是 客体 之 间 “ 上 距离” 远近 的 一 种 度量 ,将 距离 近 
的 客体 归 入 同一 类 ,不 同类 之 间 的 客体 距离 较 远 . 这 就 是 聚 类 分 本 
方法 的 共同 思路 ， 


19. 3. 1 ”相似 性 与 距离 


相似 性 数据 是 用 于 度量 客体 之 间 相 似 程 度 的 数据 , 设 有 两 个 
标号 分 别 为 ?和 了 的 客体 ,用 ci 表示 客体 i 和 之 间 的 粗 似 性 数 
据 , 则 c, 爷 大 反映 客体 之 间 愈 相似 ,从 聚 类 的 观点 来 看 ,意味 着 客 
体 i 与 7 之 间 “ 距 离 ” 较 小 ;友之 ,cj 小 ,i 与 ;之 间 的 相似 程度 小 , 因 
而 认为 i 与 7 和 “距离” 大， 

对 相似 性 数据 的 基本 要 求 是 ; 

cr Lj C19.15) 


|] 《19. 13) 


=1 


» 0 


理由 是 显而易见 的 . 为 便于 使 用 ,通常 还 要 求 相似 性 数据 满足 : 
对 称 性 cr 一 chsy (19. 16) 
太 

Te 所 1. 《19. 17) | 

相似 性 数据 的 来 源 有 了 两 种 ,~ 种 来 源 是 直接 得 到 的 . 例如 在 心 
理学 试 驻 中 , 常 令 若干 个 试验 者 为 两 两 成 对 的 研究 客体 的 相似 程 
度 打 分 ,将 这 些 得 分 进行 加 权 平 均 , 便 得 到 一 组 相似 性 数据 . 

相似 性 数据 的 另 一 个 来 源 是 由 通常 的 一 组 个 样品 个 变 
量 的 观测 数据 通过 一 定 的 计算 公式 得 到 . 这 时 原始 数据 是 一 个 
nXp 什 阵 革 ,每 行 对 应 一 个 样 曲 ,每 列 对 应 一 个 变量 . 这 时 客体 
Cobjects) , 即 聚 类 的 对 象 , 可 以 是 翌 品 (这 时 有 个 客体 ), 也 可 以 
是 变量 (这 时 有 zp 个 客体 ). 如 果 是 以 样品 为 客体 , 则 由 天 产生 出 
一 个 nxn 的 对 称 阵 忆 ,其 中 元 素 ci 表示 样品 i 与 样品 7 之 间 的 相 
伺 性 ,C 称 为 相似 阵 , 如 果 以 变量 为 客体 , 则 由 革 产 生出 一 个 pxp 
”的 相似 阵 . 相似 性 数据 的 计算 方法 根据 以 样品 为 客体 或 以 变量 为 
客体 会 有 所 不 同 . 除 此 以 外 ,测量 原始 数据 的 度量 尺 度 不 同 也 影响 
相似 性 的 计算 公式 . 由 于 以 上 原因 ,相似 性 数据 的 计算 公式 名 日 繁 
多 ,本 书 不 能 详细 介绍 ,请 读者 参阅 [18j, 

相 异 性 数据 是 客体 之 间 相 异 程度 的 度量 . 从 京 类 的 观点 看 , 相 
异性 写 大 ,反映 客体 之 间距 离合 远 ; 反 之 ,客体 间距 高 近 ., 用 如 记 
客体 ;与 客体 7 了 之 间 的 相 异 性 , 则 基本 的 要 求 是 : 

6 E06; = 0 一 小 (19. 18) 
了 = 6;. 《19. 19) 

以 上 两 条 性 质 与 数学 意义 上 更 离 的 性 质 相同 ,但 相 异 性 不 必 
满足 距离 的 第 三 条 性 质 ; 

人 过 人 十 中 1 《19. 20) 

在 聚 燃 分 析 中 ,不 论 相 异性 是 否 满 足 (19. 20) 式 ,都 广义 地 将 
相 异 性 看 成 是 距离 . 另外 ,相似 性 数据 也 可 以 通过 适当 的 变换 转化 
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为 相 异 性 (距离 ). 例如 可 考虑 用 下 述 变换 ， 
6 一 1 一 c (19. 21) 
或 
6 = [cs ~ 20, + et. (19. 22) 
等 . 
关于 相似 性 、 相 蜡 性 和 距离 的 各 种 定义 方法 均 可 参考 [181]. 以 
下 将 统一 使 用 距离 这 个 概念 来 概括 租 似 性 或 相 异 性 ,并 在 此 基础 
上 讨论 聚 类 的 方法 . 


19. 3.2 层次 聚 类 法 


层次 票 类 (hierarchical clustering) 是 一 类 诊 类 方法 . 这 类 方法 
的 基本 特征 是 ;和 完 将 mm 个 客体 各 自 看 成 一 类 ,是 初始 分 类 , 记 作 
co 然后 根据 类 与 类 之 间 的 距离 来 合并 ,将 Ce 中 距离 最 近 的 类 合 
并 成 一 类 ,得 到 一 组 新 的 类 , 记 为 C 在 C 这 层 分 类 的 基础 上 ,再 
重复 以 上 Co 的 过 程 ,得 到 -~ 组 新 的 类 , 记 为 C,, 以 上 聚 类 过 
程 可 以 不 断 重 复 进行 ,得 到 一 个 聚 类 层 的 序列 CoyCi,Cas ,Ci 
其 中 CC 中 只 有 一 类 , 即 包 含 所 有 m 个 客体 的 类 ., 以 上 聚 类 过 程 可 
用 聚 类 树 (clustering tree) 来 图 示 ( 图 19. 1). 


Ci Or 一 一 一 如一 一 一 所 DO 
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图 中 显示 了 6 个 客体 的 分 民 聚 类 过 程 .得 到 6 个 襄 类 居 Co， 
CC;, 秤 一 层 是 将 上 一 层 的 两 个 类 合并 为 一 个 新 类 得 到 的 . 当 
然 ,从 原则 上 说 ,在 层次 察 类 中 ,全 一 个 新 类 订 以 由 两 个 以 上 的 旧 
类 合并 而 成 ; 且 每 一 层 可 以 得 到 不 止 … 个 新 类 .但 从 计算 简便 , 易 
于 编制 计算 机 程序 的 舶 度 来 看 ,每 次 得 -个 新 类 ,每 个 新 类 由 两 个 
旧 类 合并 而 成 的 方法 较 好 . 

在 层次 聚 类 过 程 中 ,关键 是 要 定义 一 个 合适 的 类 间距 离 . 通常 
类 同上 距离 是 点 间距 离 的 函数 . 类 间距 离 的 不 同 定义 决定 了 各 种 层 
次 事 类 的 不 同 特点 . 因此 常用 类 间距 离 的 名 称 命名 层次 察 类 的 方 
法 .下面 介绍 几 种 常用 的 层次 率 类 法 . 

方法 19.3.1 最 短 距 离 法 (shortest distance method) 几 
dq, 表示 客体 i 和 客体 j 之 间 的 距离 ,Gi ,G2,… 表 示 类 ,用 Dw 表示 
类 Go 与 类 Ge 之 间 的 距离 , 则 


Di = min d;, 
Ep 


即 类 间距 高 为 两 类 间 最 近 点 的 距离 . 设 6. 一 1G6:G4): 则 GG 与 另 
一 个 类 G; 之 间 的 距离 有 递 推 公式 
Ds = min{ De Dor}. 
方法 19. 3.2 最 长 距离 法 (Iongest distance method) 与 最 
短 上 距离 法 相反 ,最 长 距离 法 定义 类 间距 离 为 两 类 之 问 最 远 点 的 焉 
离 , 即 


Dns= Imax 如 
i aE 0 


类 间距 离 的 递 推 公式 为 ( 当 G, = 1G, ,G7,1) 
五 + = max{Dps Dao}. 
方法 19.3.3 中 间距 离 法 (median method) 中 间距 离 法 是 
对 最 短 距离 法 和 最 长 距离 法 的 一 个 折衷, 即 令 类 间距 离 的 弟 推 公 
式 为 ( 当 GG, 一 {G6,,G4}); 
DE = Di + DE — TD. 
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方法 19. 3.4 可 恋 法 (feasible method) 该 法 是 中 间距 离 法 
的 推广 ,其 类 间距 离 的 递 推 公式 为 


Di = 13 ED, + DE]+ BD, Bl. 


可 变法 适用 于 {cy} 为 非 度 二 尺度 的 情形 . 
方法 19.3.5 类 平均 法 (group average method) 和 该 法 也 是 
对 最 长 和 最 短 距 离 法 的 折 惠 ,其 类 和 间距 离 定义 为 
Dm 5 
2 iEG EG, 
其 中 np 与 Hs 分 别 为 GG 和 0G 中 点 的 个 数 , 设 G. 一 {Gp sO} Gh 为 
另 一 个 类 , 则 递 推 公式 为 


nn mn 
2 — » 2 它 2 
D3 = LDi, + Ds,. 
nm, 再- 


有 人 和 曾 对 7 种 层次 诊 类 法 做 过 试验 ,认为 类 平均 法 是 效果 最 好 的 
一 种 . 

方法 19.3.6 可 恋 类 平均 法 {feasible group average 
method) ” 它 是 将 类 平均 法 的 递 推 公式 改 为 

Di — (1 — PD + (一 DJ + BBD, BL. 

方法 19. 3- 7 重心 法 (gravity centre method) 以 类 重心 间 
的 距离 为 类 间距 离 . 设 元 和 苑 分 别 为 类 C 和 心 , 的 重心 ,出 

Du = ds. 
DE = Di, + DE, — ED,,. 
na. n, A 

方法 19. 3.8 活 德 法 (Ward’s method) ”此 方法 是 沃 德 于 
1963 年 提出 来 的 . 它 异 用 了 方差 分 析 的 思想 ,由 要 求 同 类 样 曲 之 
间 的 高 差 平 方 和 应 较 小 ,而 类 间 离 差 平方 和 应 较 大 .使 用 这 种 方法 
的 前 提 是 存在 对 p 个 变量 的 "个 样品 的 观测 数据 (前 几 种 方法 不 
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受 此 限制 ,只 需要 有 相似 阵 或 相 异 阵 即 可 ). 设 类 Ce 中 有 着 个 点 ， 
| 用工 和 记 {Cr 的 重 ， 心 《 当 样 本 均值 )， 出 在 Ge 中 的 样 
品 离 差 平方 各 为 
= Dn zy (Xi — Ri). 
当 将 类 GG 和, 合 为 6G 时 有 5, 室 5; 十 5S,; 因 此 定义 类 间距 离 为 
Do = 5,— SS, — 8.. 
因此 将 D;, 最 小 的 两 类 合并 相当 于 使 类 内 离 着 平方 和 增加 最 小 . 


公式 ( 按 欧 天 距 离 } 为 
2 ne 十 7, ne 十 ro 3 2 
Di, = A 十 于 Dis 二 A 十 二 Fa 


公式 19. 3.9 统一 的 距离 洲 推 公式 以 土 几 种 层次 育 类 法 
的 类 间距 离 可 用 一 个 统一 公式 来 表示 ; 
DE 一 esDE 十 7 和 十 BD + YD — Dl, 
其. 7 为 估 外 (时 表 49. 1), 隘 个 同 入 轩 得 到 不 同 奖 辐 中 
离 的 递 推 公 


表 19.1 

三 法 Ap 加 a 了 

了 1 工 
最 短 昕 离 法 喜 至 0 一 去 
好 长 距离 法 查 0 序 
中 让 上- 1 1 1 
村 癌 汇 离 法 5 2 + 0 
可 变法 132 = <l 0 
类 平均 法 Hpin Hate 0 0 
可 蛮 类 平均 读 | (np 1 【1 -nn < 0 
重心 法 np Nad ne — Cp Ae 0 
. Ni 二 ny Ma 十 ns 1h 
沃 德 法 二; mt 二 0 


"407 * 


算法 19. 3. 10 算法 概述 (1) 规 定 客体 之 间 的 距离 ,计算 客 
体 距离 阵 , 记 作 Diw ,这 时 每 个 客体 算 一 类 ;(2) 选 Dm 的 最 小 元 
素 ;, 设 为 Dw; 将 类 G 各 合并 为 一 个 新 类 , 记 为 Gi 一 {G6,G4) 3 
(3) 利 用 递 推 公式 计算 新 类 与 其 它 类 的 距离 Di, 将 Di 中 的 第 p， 
g 行 和 第 p,q 列 划 掉 , 代 之 以 由 万 .构成 的 新 行 新 列 ,可 得 矩阵 记 
作 Di. 

加 到 第 (2) 步 ,直至 得 到 某 个 Do 只 有 一 行 一 列 为 止 . 


19.3.3 ” 非 层次 聚 类 法 


非 层次 聚 类 (nonhierarchical clustering) 十 - -类 聚 类 方法 的 
统称 ,其 共同 特点 是 : 先 给 定 一 个 粗糙 的 初始 分 类 ,然后 按照 某 种 
原则 反复 进行 修改 ,直至 分 类 较为 台 理 为 止 . 非 层次 聚 类 法 比 之 层 
次 聚 类 法 ,其 最 主要 的 优点 是 占用 计算 机 内 存 少 ,分 类 较 准 确 . 

在 非 层 次 聚 类 中 ,为 了 得 到 初始 分 类 ,通常 要 先 选 择 一 批 蕊 聚 
点 Ccondensation point) ,让 样品 向 癣 聚 点 集中 . 所 谓 凝 豪 点 就 是 一 
批 有 代表 性 的 点 ,是 要 形成 类 的 中 心 . 选择 凝聚 点 有 以 下 的 办 法 ， 

方法 19. 3. 11 均值 法 将 数据 人 为 地 分 为 类 ,计算 每 一 
类 的 均值 ,将 这 些 均值 作为 龊 聚 点 . 

方法 19. 3. 12 密度 法 “人 为 地 定 两 个 正 数 4d: 忆 qd, 以 每 个 

品 点 为 中 心 ,以 di 为 半径 ,到 这 个 样品 点 的 距离 小 于 qd 的 样品 
个 数 代表 该 中 心 样品 点 的 密度 . 首先 选 具有 最 大 密度 的 样品 点 作 
为 第 一 凝聚 点 , 记 为 xz. 再 选 距 第 一 疑 察 点 x, 还 于 中 的 具有 最 大 
密度 的 点 作为 第 二 凝聚 点 , 记 为 z2. 再 取 距 z 和 xz 均 还 于 4d 且 有 
最 大 密度 的 点 作为 第 三 凝 豪 点 ; 记 为 za- 如 此 反复 ,直到 没有 新 的 
涂 取 点 产生 为 止 . . 

在 选 定 的 凝聚 点 的 基础 上 进行 分 类 和 收 改 的 方法 有 很 多 种 ， 
下 面 介 绍 三 种 比较 定型 的 方法 : 

方法 19. 3. 13 -均值 法 (K-means method) (1) 人 为 地 定 
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出 分 类 数 日 太 , 将 所 有 样品 任意 地 分 成 下 类 ,计算 各 类 的 重心 作 
为 凝聚 点 . 

(2) 将 5 个 样 喇 从 头 至 尾 输 入 一 遍 , 每 进入 一 个 样 喇 ,将 它 归 
入 距 它 最 近 的 瞩 聚 点 所 代表 的 类 ,重新 计算 类 重心 ,以 新 的 类 重心 
作为 北府 点 . 
重复 (2) ,直至 所 得 分 类 不 骨 收 变 . 

天 -均值 法 计算 简便 ,分 类 迅速 ,但 出 于 人 为 地 确定 了 类 的 个 
数 友 ,有 时 会 影响 分 类 效果 . 

方法 19.3.14 改进 的 天 -的 值 法 “人 为 地 定 三 个 数 天 ,C ,RR， 

《1) 到 前 KK 个 样品 作为 疑 陈 点 ,计算 两 两 之 间 的 距离 . 如 
果 最 小 距离 小 于 忆 , 则 将 相应 的 两 涂 这 点 合并 ,用 恒心 作为 新 的 
雍 罕 点 ,重复 以 上 步 又 ,直至 所 有 效 襄 点 之 间 的 距离 大 于 等 于 品 
为 目 . 

(2) 将 余下 的 六 天 个 样品 和 逐个 进入 ,每 进入 一 个 样品 就 计算 
它 与 各 尘 聚 点 之 间 的 距离 . 如 最 小 距离 大 于 R, 则 该 样品 作为 新 的 
凝 阳 点 ;如 果 最 小 蛤 离 小 于 等 于 RR, 则 将 该 样品 归 入 最 近 效 聚 点 的 
那 -类 ,重新 计算 该 类 重心 ,以 此 重心 作为 新 的 凝聚 点 , 重新 验证 
凝聚 点 之 同 的 距离 ,如 有 小 于 CC 的 , 则 用 (2) 中 的 方法 合并 . 

《3) 将 二 个 样品 从 头 至 尾 逐 个 输入 ,用 第 (2) 步 的 方法 归 类 ， 
不 同 之 处 是 : 当 某 个 样品 从 原来 的 类 进入 另 -… 个 类 时 ,两 类 的 重心 
都 需 要 重新 计算 . 

重复 (3), 直 全 分 类 不 发 生变 化 为 上 . 

这 个 方法 中 KK,C,R 的 选择 会 影响 分 类 的 效果 . 

方法 19. 3.15 等 数据 法 (disodata method) 人 为 选择 7 个 
控制 参数 NS,TN ,TE,NT,TC,ND 及 IX. 

(1) 输入 一 批 肇 聚 点 ,或 用 某 种 方法 产生 一 批 凝 襄 点 . 

《2) 将 样品 归 和 人 最 近 凝 察 点 所 代表 的 类 ,在 2 个 样 章 没 有 全 
部 归 类 之 前 县 聚 点 不 变 . 当 个 样品 全 部 归 类 后 ,重新 计算 每 类 重 
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心 ,作为 新 的 凝聚 点 ,重复 这 个 步 台 NS 次 或 者 至 收 敏 为 止 

(3) 车 某 一 类 的 样品 数 小 于 TN , 则 该 类 禅 品 不 参加 下 面 的 
计算 . 

(4) 按 如 下 的 原则 将 类 进行 合并 或 分 解 ， 

1) 如 类 的 数 则 大空 2ND, 则 要 合并 ! 

2) 如 类 的 数目 tc 二 ND, 出 要 分 解 

3) 如 类 的 数目 上 在 上 述 界限 之 间 , 则 当 到 是 奇数 时 要 分 解 ， 
偶数 时 合并 . 

(5) 计算 各 类 重心 ,将 它们 作为 妍 聚 点 , 回 到 第 (2) 步 . 

(6) 重复 (3) 至 (5) 步 IX 次 . 

其 中 C4) 步 中 所 说 的 合并 过 程 ,重心 需 重 新 算 过 . 如 最 近 的 两 
类 的 距离 小 于 TC, 则 合并 这 两 类 ,并 重新 计算 这 个 新 类 与 其 它 类 
之 间 的 距离 ,这 个 过 程 最 多 进行 NT 次 . 

在 分 解 过 程 中 ,对 某 个 类 @, 如 第 /个 变 基 的 标准 差 oj > 
TEeci, 其 中 o 为 第 -个 变量 的 所 有 = 个 样品 的 标准 差 , 则 将 已 … 
分 为 二 ,以 第 7 个 变量 在 G; 中 的 均值 来 划 线 ,均值 以 上 的 为 - -类 ， 
其 余 的 为 另 一 类 , 计算 这 两 个 新 类 的 重心 ,这 两 个 重心 之 间 的 蝶 离 
如 大 于 1.1TC, 则 这 个 分 解 是 采纳 的 ,否则 不 作 分 解 . 


19. 4 ”多维 标 度 法 


多 维 标 度 法 (multidimaticnal sealing) ,简称 为 MDS, 是 一 类 
统计 分 析 方 法 的 统称 ,产生 于 心理 学 度量 分 析 ,并 在 许多 领域 中 得 
到 了 广泛 的 应 用 . MDS 的 基本 特点 是 由 相似 性 或 相 蜡 性 数据 出 
发 ,用 低 维 空间 中 的 点 结构 (configuration of points) 来 表示 研究 
客体 ,从 而 揭示 数据 的 潜在 结构 . 本 节 介 绍 几 种 得 到 广泛 应 用 的 
MDS 方法 . 
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19.4.1 古典 MDS 


古典 MDS (classical MDS) 是 最 早出 现 的 一 种 MDS 方法 ,由 
搭 格 森 dTorgerson) 填 1950 年 引进 . 

设 A 二 56) 为 一 个 nxxn 机 蜡 性 乱 阵 ,3 表示 客体 :与 客 体 7 
之 间 的 相 蜡 性 (19. 3) ,古典 MDS 的 目标 是 用 某 个 > 维 欧 氏 空间 中 
的 4 个 点 工 ,zzro" ,xn 来 表示 并 个 赋 究 客体 , 记 


7 1 
dy = rx = ro ra), (19. 23) 
一] 


dj 表示 点 i 一 CT 和 Ti (xi 3 :Tw 之 则 的 欧 氏 距 
离 . 在 古典 MDS 模型 中 将 相 蜡 性 数据 近似 看 成 基点 之 间 的 距离 ， 
邑 


6 ~ a, (19. 24) 

方法 19. 4.1 古典 MDS 的 计算 方法 

(DD) 令 Ag) 一 

(2) 令 吾 一 吾 4 妈 ,其 中 =| ll | ; 

吾 称 为 均 中 心 化 内 积 阵 (pseudo centralized inner product 
matrix): 

C3) 将 8B 作 特 征 分 解 , 设 B=PAP7, 其 中 记 为 xnXn 正 交 阵 ， 
思 二 diag <, sy4) ,其 中 出 宇 入 宇 闻 入 为 量 的 特征 根 ， 

(42 设 4 二 0, 则 在 > 维 欧 氏 室 问 中 ,古典 MDS 没有 解 . 否则 
(7 宇 0), 令 A 一 diag (Cs 加 ;加 ) 1P, 为 PP 的 前 7 列 构成 的 (nr) 
矩阵 , 令 


= PAi. 
将 下 的 得 - 行 看 成 是 7 维 欧 氏 空间 中 的 点 ,于 即 为 古典 MDS 


的 解 ， 
古典 MDS 依据 的 数学 原理 是 ; 当 83 一心 时 ,在 (2 中 计算 出 
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来 的 吾 给 阵 - 定 基 中 心 化 内 积 短 阵 , 即 8 的 元 素 ;满足 : 


bi 一 (Ti 一 KZ — A)', (19. 25) 
-lm ， ， 
其 中 工 一 坟 > 为 结构 的 中 心 ,而且 此 时 定 有 
1 一 1 
0 二 0， (19.26) 
且 
一 = — ED j=l (19.27) 


石 为 闫 个 点 在 第 > 个 坐标 上 的 方差 ,1 的 太 小 可 描述 第 7 个 坐标 
的 重要 性 . 由 4 的 单调 性 , 知 第 1 坐标 最 重要 ,第 2 坐标 次 重要 ， 
在 (3) 中 ， 当 训 之 0 时 , 占 典 MDS 在 + 维 空间 中 没有 解 . 这 时 
有 两 条 路 径 可 循 . 第 -条 路 径 是 事先 不 指定 7, 当 BB 分 解 以 后 ; 取 * 
满足 罗 守 0, 且 


S/N 85. (19. 28) 
第 二 条 路 径 是 取 常 数 < 满足 
一 一 SA 一， (19. 29) 


“ 称 为 加 性 常数 (additive constant) ,在 (3) 中 令 由 =diagkhu 十 c， 
入 十 c,… ;加 十 c) ,再 进行 诗 算 即 可 ,采用 加 性 常数 法 可 保证 对 
rr 之 n 一 1 总 有 解 . : 

古典 MDS 的 模型 是 近似 将 相 异 性 看 成 点 间距 离 ,模型 拟 合 
的 优 度 可 用 下 述 两 个 量 来 描述 : 


= |{ /Ia x 100%, 


w= 38/ DN) x 100%, 
tr 称 为 百 分 变 闫 (pereentage variation) ;qs 称 为 平方 百 分 变 美 
* di2* 


(19. 30) 


{squared percentage variation }, 

当 数 据 是 相似 性 时 ,算法 略 有 不 同 . 记 C= (ey) 为 相似 阵 . 即 
cu 表示 客体 i 与 j 之 间 的 相似 性 . 在 计算 过 程 中 ,直接 令 伪 中 心 化 
内 积 和 矩阵 为 


B= HCH (19. 31) 
即 可 . 以 后 的 计算 方法 是 相同 的 ， 
下 面 介 绍 一 个 古典 MDS 的 例子 . 
例 19.4.2 数据 是 10 个 莫 尔 斯 电码 之 间 的 相似 性 , 列 于 
下 表 . 


家 19.2 


5 39 09 12 04 上 要 人 56 91 了 名 
50 26 09 1] Q5 22 17 号 之 吕 ] 7 


用 古典 MDS 方法 进行 分 析 ,得 到 号 抢 阵 的 特征 根 为 

=187.4, = 121.0, N= 95.4, 

4 二 55.4, 加 二 46.6， 二 31.5, 轴 1 一 9.6， 

为 一 4.5， 为 一 0.0， ho 一 一 4,1 
假定 要 求 一 个 二 维 解 , 则 日 的 前 两 个 特征 向 量 ( 模 分 别 为 轴 , 因 ?为 
(一 42， 一 0.3,3.7,5.6,5.4)3.8,0.9, 一 3.0, 一 6.2, 一 5.7) 
《一 3.2， 一 5.8,— 4,.3,— 0,.6,0.0,4,0,5,5,3,6,0.6,0.2) 
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用 以 上 两 个 向 量 的 对 应 坐标 表示 二 维 欧 氏 空间 中 的 点 可 以 得 到 下 
图 19. 2. 


代表 1 一 0 的 莫 尔 斯 电码 列 于 表 19. 3， 
表 19.3 
数 字 电 砚 点 划 


[= 和 
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根据 土 述 的 图 和 表 , 可 以 看 出 :第 一 个 坐标 度量 "点 "的 个 数 伙 点” 
即 莫 尔 斯 电码 中 的 ，) ,点 多 的 码 在 轴 的 右 端 ,点 少 的 码 在 轴 的 左 
端 . 第 二 个 坐标 度量 电码 的 不 均匀 性 . 以 上 两 个 因素 构成 区 别 莫 尔 
斯 电码 的 主要 原因 . 


19. 4.2 非 度量 MDS 


非 度量 MDS 是 谢 帕 德 (Shepard) 于 1962 年 提出 的 一 种 MDS 
模型 ,并 由 克 重 斯 卡尔 (Krusksal) 于 1964 年 给 出 了 一 种 有 效 的 
算法 . 

非 度 量 MDS 寞 型 的 基本 特征 是 将 相似 性 或 相 蜡 性 数据 看 成 
是 点 疗 距 离 的 单调 函数 ,以 下 统一 用 5;; 记 客体 i 与 客体 j 之 间 的 
相似 性 或 相 异 性 ,为 点 zx; 与 点 x) 之 间 的 距离 . 在 非 度量 MDS 
模型 中 假定 

$j; == fldi), (19. 32) 
其 中 , 当 8 为 相似 性 时 /为 单调 降 函 数 , 当 6; 为 相 异 性 时 f 为 单 
调 增 函数 .上述 要 求 的 实质 是 要 求 最 后 计算 出 来 的 点 结构 的 点 间 
距离 与 数据 之 间 应 有 一 种 避 序 的 关系 . 即 对 相 异 性 数据 ,应 有 
6 A Bad;; SE du. 《19. 33) 
对 相似 性 数据 应 有 
人 及 ud, SF du {19, 34) 

在 理想 的 情形 下 , (19. 33), (19. 34) 式 可 以 满足 ;但 在 大 多 数 
实际 情形 下 ,上 述 单调 关系 只 能 在 一 定 程度 上 得 到 满足 , 克 和 外 斯 卡 
尔 给 出 了 上 述 单调 性 满足 程度 的 度量 ,并 通过 最 小 化 这 种 度量 给 
出 有 效 的 算法 - 

定义 19.4.3 设 委 = (066),xs 为 一 个 相 异 性 矩阵 ,XX,x。 为 + 维 
空间 中 4 个 点 的 坐标 阵 ,di 为 点 zi 与 x; 之 问 的 距离 ,对 厅 ; 的 单调 
增 函 数 访 /二 了 (5,) ,定义 
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SG 人 = [Dd — 2 2 ] 二 
SX, 站 = [> (di 一 df Dds 一 2， 


其 中 如 二 诱 M 为 ,的 有 效 个 数 ,S1( 到 ,应 和 Ss(XX, 放 分 别 


称 为 克 鲁 斯 卡尔 应 力 1 和 1 工 . 

在 上 述 应 为 的 定义 中 , 当 55; 为 相似 性 时 ,Qi 改 为 者, 的 单调 降 
函数 . 以 下 简 记 Si1(¥, 让 和 Ss(X, 门 为 S 和 5S;, 克 和 鲁 斯 卡尔 建议 
用 应 力 Si, 或 5, 来 衡 庆 拟 合 的 优 度 , 并 给 出 通过 最 小 化 51( 或 5;) 
来 求解 的 算法 . 这 种 算法 的 基本 特点 是 一 个 二 重 远 代 过 程 . 首先 给 
定 天 的 初始 值 ， Wt a ie 定 的 大， 
用 单调 回归 方法 得 到 一 组 {4.;} ,然后 固定 这 一 再 对 站 进行 
更 新 ,更 新 的 方法 是 一 种 经 验 的 梯度 法 ， 在 实际 启用 中 非常 有 站 
上 述 过 程 反复 进行 ,直到 应 力 值 降 到 某 个 指定 的 限 以 下 ,或 者 应 力 
值 不 再 发 生 显著 变化 为 止 . 


19. 4.3 个 体 差 异 标 度 法 一 一 INDSCAL 


设 有 产 个 关于 间 一 组 客体 的 相 异 性 (相似 性 ;数据 乱 阵 4 ， 
A，… od; 可 能 是 来 自 不 同 的 试验 者 或 不 同 的 试验 场合 (条 件 )， 
或 不 同 的 试验 方法 ,以 下 统称 这 些 不 同 的 试验 者 (场合 ,方法 ) 为 主 
体 ( subjects )， 这 样 zm 个 矩阵 对 应 着 mx 个 主体 . INDSCAL 
《iadividual difference scaling) 是 一 种 MDS 模型 ,其 目 的 不 仅 是 要 
分 析 客 体 的 结构 ,而 且 进 一 步 要 分 析 主 体 之 间 的 差异 , 称 为 个 体 闫 
异 标 度 法 . 

在 INDSCAL 模型 中 ,仍然 假定 个 客体 可 用 + 维 空间 中 的 a 
个 点 二 ,sx 来 表示 . 但 是 对 不 同 的 主体 ,点 间距 敲 的 定义 是 不 
同 的 , 设 di,,& 为 第 个 主体 关于 容 体 i 与 客体 j 之 问 的 距离， 其 
表达 式 为 
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下 工 
ci 一 (Own 一 zx), (19. 35) 


ds 尼 相 当 于 对 第 :个 坐标 加 权 Viws 上 后 计算 的 欧 氏 距离 , 权 Miww 
代表 第 个 主体 对 第 : 个 坐标 的 重视 程度 
根据 式 19. 35 知 ,对 第 个 主体 来 说 ,点 ?与 点 ;的 内 积 是 


Dh iwi 对 每 个 数据 阵 ,利用 季 19,4.1 中 计算 的 中 心 化 内 
积 阵 的 方法 计算 B; 一 (64.8).INDSCAL 横 型 假定 


bik Ss jwiseri (19. 36) 
为 求解 权 和 点 结构 ,采用 最 小 化 离 差 平方 和 方法 , 即 全 
R= Dbsk— wed Tora (19. 37) 
pk 1=1 


达到 最 小 ,为 最 小 化 R, 道 常 采用 的 算法 是 交替 最 小 二 彝 法 
alternative least squares), 即将 RR 改写 为 


R= 2 he Dare) . (19, 38) 


在 页 中 包含 了 三 组 变量 ， :wx 和 y. 当 国 定 其 中 两 组 时 ,对 第 三 组 
变量 来 说 ,最 小 化 让 是 一 个 普通 的 最 小 二 乘法 问题 . 所 谓 交 替 最 
小 二 屁 法 ,就 是 等 次 固定 两 组 变量 ,对 第 三 组 变量 用 最 小 二 乘法 最 
小 化 训 , 整 个 过 程 可 用 交替 最 小 二 冬 法 示意 图 表示 图 19. 3)，. 
CC 国定 ny 
水 * Rw 


OO 求 了 ~ 
《二 定 w，》> 一 一 国定 w，x》 
图 19.3 


上 述 示意 图 表示 交 闪 最 小 二 乘法 的 一 个 循环 过 程 . 上述 循环 
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过 程 一 直 进 行 到 站 没有 显著 敢 变 为 止 . 
在 训 中 每 当 x 和 yy 改变 一 个 尺度 时 ,即今 zx" 二 cx,y* 二 cy 
时 , 邻 呈 "= 二 cw; 则 下 的 值 不 变 .因此 为 保证 解 的 唯一 性 ,每 当 求 
出 一 个 工时 ,要 将 其 标准 化 , 即 令 
Dx = 0 2 到 三 1， t= les, (19. 39) 


对 y 也 有 上 述 要 求 , 当 人 循环 结束 时 要 令 zx 一 >, 且 令 mw 一 jw 上 (因为 
w 中 可 能 有 负 值 ,而 负 权 在 INDSCAL 模型 中 是 没有 意义 的 )， 
循环 开始 的 初始 值 可 取 zx 为 随机 结构 或 者 将 B 作 加 权 平 均 
后 求 古 典 MDS 解 ,然后 令 ?一 工 
MDS 方法 的 种 燃 很 多 ,例如 还 可 以 对 非 对 称 数据 建立 非 对 称 
模型 ,或 处 理 长 方形 相似 阵 的 模型 等 ， 
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20 抽样 调查 方法 
20. 1 概念 与 符号 


20. 1. 1 概述 


抽样 调查 方法 常用 于 人 口 调查 .能 源 调查 ,社会 经 济 调查 , 宁 
林 林 木 估 积 ,草原 及 农田 估 产 .妓生 生物 数量 估计 等 方面 . 抽样 调 
查 在 调查 研究 中 有 极 大 的 实用 价值 . 合理 地 抽样 既 可 获得 可 靠 的 
高 精度 的 信息 ,又 可 大 大 地 节约 调查 的 人 人力. 物力 .财力 .时 间 ., 特 
别 当 信 息 有 很 强 的 时 间 性 时 ,旷日持久 的 全 面 调查 将 只 能 获得 陈 
上 B 的 信息 ,而 失去 调查 的 价值 . 

方法 20. 1.1 符号 

C1 Hy N 个 有 上 明确 编号 的 个 栖 o1 ,02 ,oa ,Ow 所 组 成 的 
总 体 . 

《2) NN 一 一 被 调查 全 体 对 象 的 总 数 ,是 已 知 的 正 整数 . 

”3) 了 一 一 总 体 Hn 中 第 i 个 个 体 O; 所 对 应 的 某 一 数量 指标 ， 
ft 一 2 

《4) n 一 一 抽样 的 个 数 , 它 是 从 有 入 个 个 休 的 总 体 中 用 各 种 
抽样 办 法 抽取 的 = 个 个 体 . 

《5) yw 一 一 抽取 的 第 :个 个 体 所 对 应 的 数量 指标 ,一 1,2，…， 
好 Cy ?M2 yn 是 和 的 一 个 部 分 )， 

待 估计 的 量 (总 体 数字 特征 ) 


N 
C6) 了 一 认 2Y, 一 总 体 平均 值 
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(7 了 = DY, 一 总 值 , 即 所 调查 的 全 体 对 象 的 数量 指标 
之 和 . 
(9) 一方 2 一 7) 一 -总 体 方差， 


™ 

1 Fa 

或 SS 一 一 (YY 一) 
NT 之 


(9) C 一 S/7 一 一 变异 系数 . 

抽样 调查 内 容 : 

(1) 制定 调查 方案 :包括 抽样 实施 的 方法 ,以 及 根据 事先 给 出 
的 误差 标准 ,决定 抽样 的 最 小 个 数 a. 

《2) 由 my 估计 总 体 的 数字 特征 ,并 研究 估计 的 
误差 . 

例 20.1.2 一 块 100km’ 的 地 方 ,是 血吸虫 的 中 间 宿 主 钉螺 
繁殖 之 地 , 今 要 调查 钉螺 总 量 , 以 便 开展 防治 血吸虫 病 的 工作 . 为 
此 将 这 100kms 的 地 域 分 成 lm: 一 块 共 10 个 小 块 ,调查 其 中 的 
1000 个 小 块 ,计算 出 每 个 小 块 中 挖 出 的 钉螺 数 . 得 ya sy lo00: 
此 例 中 入 二 10:,n 一 1000,1000km? 的 钉螺 总 数 这 = 了 ,十 Ys 十 … 
十 Yjw 是 待 佑 计 的 量 ,要 根据 y ,ys，"… ,Yio0o 来 估计 六 . 


20. 1. 2 抽样 方法 


方法 20.1.3 随机 抽样 法 (random sampling) 在 Hy 的 和 N 
个 个 体 中 机 会 均等 地 抽取 第 一 个 样 ,然后 在 剩 下 的 入 一 1 个 个 体 
中 机 会 均等 地 抽取 第 二 个 样 ,……- 最 后 在 所 剩 的 N 一 Cx 一 1) 个 个 
体 中 机 会 均等 地 抽取 第 个 样 . 
方法 20. 1.4 分 层 抽 样 法 (hierarchical sampling》 将 I 先 
分 成 下 组 :了 Tv ,Iw,，… ,wn,;， 称 了 ws 为 第 i 层 . 把 每 一 层 Hw 用 成 一 
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个 小 总 体 , 在 Hy 中 随机 取 一 组 大 小 为 的 样本 ,i 一 1,2,….,. 这 
组 样本 合成 Hn 的 分 层 冬 本 . 当 I 中 的 个 体 有 骨 显 差异 时 , 则 
应 和 将 相近 的 个 体 归 为 一 组 , 如 此 将 I 分 成 x 组 ,采用 分 层 抽样 法 
取样 . 

方法 20.1.5 二 阶 抽样 法 (two-step sampling》 先 将 Hw 
分 成 下 组 : Hy， Hw,， “yn,, 这 些 组 称 为 In 的 第 一 性 抽样 单 
位 ,将 它们 看 成 个 个 体 进行 抽样 , 例如 抽 到 Ts , Fw ,rw 组 ， 
然后 再 把 Hw ,Js , Ewv 作为 第 二 性 抽样 单位 ,在 Tv ,ITw ,Tv 中 
分 别 抽样 . 

方法 20.1.5 多 阶 抽样 法 Cmultiple-step sampling) 设想 
20. 1. 5 中 第 二 性 抽样 单位 仍 不 是 HI 的 个 体 ,而 是 一 小 组 ,对 它 再 
做 第 三 性 抽样 , 余 类 推 ， 

方法 20. 1.7 集团 抽样 法 (group sampling) 特 I 分 成 上 
组 :Hy ,了 vv 对 这 下 个 组 进行 抽样 ,对 入 样 的 Hs 不 再 个 
体 进行 抽样 ,而 是 将 其 中 的 个 体 逐 全 观察 ,第 i 组 称 第 ; 个 集团 . 

方法 20. 1.8 系统 抽样 法 (system-sampling) 又 称 机 械 扫 
样 法 . 选 一 正 整 数 , 将 了» 中 的 个 体 逐 个 排列 如 下 : 

] ;2,3,""" ,此 ， 


下 十 1 不 十 2 让 十 3 .28， 
2 十 1，2 克 十 292 天 十 3 13k， 


对 号 码 1,2,…, 关 ,做 随机 抽样 (常常 只 抽 一 个 ), 若 :入 祥 , 则 
圭 述 i 号 码 的 那 一 列 导 码 i 十 i 号 十 i，… 的 个 体例 入 样 . 
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20. 2 随机 抽样 法 


20.2.1 随机 抽样 法 


随机 抽样 法 蚌 等 概 地 从 总 体 sy 中 无 放 回 地 抽取 = 个 样 , 具 
体 地 实现 ,可 将 Tv 中 的 N 个 个 体 标 以 号 码 1,2,"… ,NN, 然后 利用 
随机 数 表 抽出 = 个 不 同 的 数码 ,或 用 计算 机 产生 念 随机 数 来 抽取 
nn 个 不 同 的 数码 , 用 随机 数 表 抽 取 的 方法 如 下 : 设 总 体 J 的 个 体 
数 六 一 345. 要 抽取 2 一 15 个 样 , 由 于 和 N 一 345 是 三 位 数 ,所 以 从 随 
机 数 表 中 任 取 三 列 所 构成 的 三 位 数码 中 ,依次 取出 不 同 的 三 位 数 
码 , 当 数码 在 001 ~345 之 间 时 , 则 该 导 码 入 样 , 当 数码 在 401 一 
745 之 向 时 , 则 将 该 数 减 去 400 后 的 号 码 入 样 ,其 余 的 000，346 一 


衷 20.4 随机 数 衣 
65 54 73 BB8 44 76 68 47 93 11l 14 95 72 94 14 
95 84 67 58 37 62 18 03 23 61 60 88 44 62 99 
05 83 05 42 44 63 44 78 98 09 25 58 00 57 12 
36 05 60 21] 12 26 61 99 62 d4 83 09 78 74 84 
53 45 44 36 和 78 74 09 25 58 00 57 12 38 46 


05 60 31 13 26 6L1 99 62 44 76 73 55 63 86 00 
58 22 57 86 27 63 43 45 60 74 16 72 73 79 50 
79 59 69 50 72 47 26 9 60 88 44 83 09 79 49 
69 39 80 45 人 9 92 93 38 12 57 00 58 16 23 54 
56 32 36 22 58 69 50 72 47 26 81 99 87 30 83 


77 93 B81 16 61 05 97 78 84 43 59 76 16 76 91 
29 63 99 16 £5 60 82 94 19 25 98 28 24 57 05 
61 10 39 10 58 48 81 77 60 3 45 17 09 62 16 
34 31 36 56 938 31 26 20 03 27 63 09 56 36 1]16 
35 16 1]1 17 56 31 58 25 87 90 05 29 87 77 34 
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400,746 一 999 不 要 , 当 某 号 码 已 和 信 样 ,而 再 次 磁 到 该 号 码 时 , 则 只 
算 一 次 . 例如 ,用 表 20. 1 所 示 随 机 数 表 取样 . 则 可 利用 8,9,10 列 
构成 三 位 数 . 第 -一 个 数 为 844, 舍 去 . 第 二 个 数 为 837, 也 舍 去 . 第 三 
个 数 为 244, 则 244 号 入 样 . 第 四 个 数 为 112,112 号 也 人 和 人 样 .第 5 
个 数 为 644, 减 去 400 为 244, 由 于 244 导 已 人 样 , 故 该 数 也 舍 去 . 
如 此 继续 可 得 326,227,72,169,258;261,265,58,298 号 入 样 . 8， 
9,10 列 随 机 数 已 取 完 ,但 入 样 号 码 仍 不 足 15 个 ,此 时 可 转 到 另 三 
列 继续 取 , 如 利用 1,2,3 列 继续 得 255,56,360,134 入 样 . 取 满 15 
个 即 停止. 


20. 2. 2 ”简单 估 值 法 


设 Di Ya Ys 是 来 自 总 体 Hx 的 随机 样本 . YY,o,S:, 0 
( 见 20. 1. 了 人 和 时 记 


Py 一 一 样本 均值 ， 


=Ny, 
条 一 二 二 > (2 一 3 一 一 样本 方差 ， 


他 一 百 (y 一 六 ? 用 yy 人 千 计 Y 了 时 的 均 方 误差 ， 
Cg EY 
?一 “一 和 ， 


其 中 咯 ， c 也 是 村 人 的 量 

定理 20. 2.1 给 出 了 了 ,S?, 品 ,Cy,C 的 无 偏 估 计 . 

定理 20. 2.1 设 wm 是 来 自 总 体 了 ,77w 的 随 
机 样本 , 则 

《1) EC(y)=Y (EG)=EY)). 
Is: (C2= li/5 1— fs 


(2) 二 0 7 ， 


其 中 ,一 六 
423。， 


(3) EGS) = 时 《EC 一 中 ), 其 中 3 一 ] 


此 定理 告诉 我 们 ,用 y 估 了 (7 估 了 ;用 关 估 3 用 号 估 吕 ,这 
些 估 计 是 无 偏 的 . 
方法 20.2.2 了 及 了 的 区 间 估 计 当 ” 相 当 大 时 ,y 接近 
《Tc 所 分布. 因而 对 于 给 定 的 置信 和 度 1 一 a (0<a<1), 查 N(0,1) 
表 , 可 得 =?， 
:| 


1 一 串 | 二 
= Ply— x oY yr) 
> 


= Ply— zs sSNA<Y y+ ze so | - 


在 实际 工作 中 以 骂 的 无 偏 估计 sy 一 号 代 得 wy, 即 可 得 到 了 与 了 


的 区 则 估计 . 其 中 S3 一 LS:. 

方法 20. 2.3 部 分 估计 Cpaxtial estimate》 设 总 体 Hw 中 有 
一 “ 子 体 ”Hw, 它 的 大 小 M' 为 未 知 ,但 Hs 中 任 一 个 体 是 否 属于 
Hw 有 明确 的 判别 法 . 现在 要 调查 这 “ 子 体 ”Hw 中 的 个 体 的 数量 指 
标 之 和 及 Hw 中 个 体 的 数目 N'. 设 “ 子 体 *( 用 其 数量 指标 表示 ) 为 
Jy = {21,Z44sZw), 今 令 Hx 一 Hw 中 的 个 体 ( 即 Hx 中 不 属于 
Hw 的 个 体 ) 数 量 指 标 取 作 0, 则 y= {YI YrsYy} 二 {ZiZs， 
Pr Nt sO， I :0}. 

NN 一 让 沾 y 

调查 对 象 为 了 = 4Y, 一 2, 一 ZZ, 及 N'. 调查 所 取样 本 为 (>vye， 


Ye) 一 Cz] 9 DO ,D0). 
用 一 下 个 


记 p 一 节 , 则 用 Np 估计 N' ,用 D3 估计 艺 
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方法 20. 2.4 决定 样本 容量 的 方法 
(1) 若 要 使 一 V 天 二 SB 事先 给 定 ), 则 要 求 


NS 
"2 NB + 可 | 
(2) 车 要 使 P{1y 一 了 |<<d) =1 一 a (evd 事先 给 定 ), 则 要 求 
NS’ 
下 说 一 人 一， 
达 1 
N| 一 和 
zj 
其 中 x, 为 标准 正 态 分 布 的 上 也 分 位 数 . 
(3) 着 要 使 Ci<y | CGI= 2 , 即 要 求 相对 精度 高 于 指 
定 的 指标 y | , 则 要 求 
NOY 
"> NA 
C4) 车 要 使 P| > 也 ”| <h 一 1 一 .Ca,h 事先 指定 ), 则 要 求 
NC? 


| 四 ye 

注 : (1) 一 (和) 公式 中 的 $7,C? 是 未 知 量 ,在 实际 工作 中 ,可 根 
据 过 去 的 资料 ,或 先进 行 少量 抽样 , 预 信 出 8? 或 C', 从 而 粗略 地 
确定 样本 额 * 

《5) 考虑 调查 费用 决定 样本 量 之 方法 举例 . 

例 20.2.5 设 调查 费用 为 C, 十 CunyCs 为 基本 调查 费用 ,C， 
为 每 调查 一 个 样 所 需 费 用 . 又 设 以 3》 估 了 ,由 于 误差 |7 一 了 | 所 造 
成 的 损失 为 AE(3 一 ?一 4| 十 一 认 ] 5”, 则 要 使 总 耗费 最 小 , 即 
CotCmtal 于 -六 | SS: 最 小 . 应 取 
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全 
CC 
其 中 4 是 将 五 (y 一 了) 拆 合 成 钱 数 的 因子 ， 


例 20.2.6 设 调查 费用 为 Co 十 Cn. 误差 1y 一 了 | 所 造成 的 
扎 失 为 AEly 一 了 1. 为 十 Cm 十 AE|y 一 了 | 最 小 ,此 


时 可 认为 了 一 了 近 做 服 从 | 0, 所 


分 布 .Ely 一 了 | 一 天 


x 2 a 2 oa 
[zexp[ — a | -2 -元 要 使 C+ Cm 二 A 2 二 


-nH 
最 小 ,应 取 


) 一 (把) . 


270C1 
实际 工作 中 ,可 由 擂 史 资料 或 少量 抽样 预 估 出 8 或 了， 
20.2.3 比 估 值 法 
设 总 体 中 每 个 个 体 有 两 个 指标 和 ,7. 于 是 有 
XX) RK, -2 Kw 
[> Y, | 
通过 计算 有 
及 完 a SE CC 
YF YF os S32 3 
相关 系数 
WX XY, —Y) 
0 一 =] 


VSY SS 
我 们 调查 的 日 标 是 ,通过 样本 | 
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Y 
六. 当 革 是 已 知 时 ,这 时 估计 玉 与 估计 是 同一 问题 ; 有 了 时 邓 是 


未 知 的 , 例如 ,调查 某 城 市 1987 年 的 人 口 (7) 相 对 于 1955 年 人 口 
(多 ) 的 比率 ,1955 年 的 人 口 区 是 已 知 的 . 
又 例如 调查 一 片 庄稼 病 株 所 占 的 比例 ,个 体 (人 工 单位 面积 ) 
的 两 个 指标 是 
X 一 株数 ， 了 一 一 病 株数 ， 
调查 目标 为 -二 一 | 一 各 |. 这 种 情况 六 风 是 未 知 的 


区 
， 扩 1 六 
定理 20.2.7 设 总 体 准 四 y, 


“| 记 ,一 之 , 则 有 
J 


y | 
:X00,Y 0, 
Yy 


Tz 


区 


Dy Ys 
C1) ECr)=R+TOC(T). 


_ :1 + .+ 
(2) Etr—R) 人 


~ 
让 M> 
十 
i 


Tt hr 
C3) E[ = (Cy -ray | 7 > CY, 一 RX,Y 
一 4 
1 工 
+O| 翅 
™ 
(4) | 吉 ; ! T > (> 一 rn) 一事 ZY 一 RX,)? 
:ol 而 | 


由 定理 20. 2. 7 可 知 以 下 方法 . 
方法 20. 2.8 (1) 用 r 估 RR, 其 估计 为 有 偏 估 计 , 其 偏 EC7) 


一 R 一 0| 二 | . 均 方 误差 为 Cr 一 R》 一 O[ 沁 |. 由 定理 20.2.7 之 
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— : ,1 一 了 1 1 — 2 2 日 
(2),(4) 知 , ECr 一 R)? 二 一 更 -2 人 RX,)? ,近似 


1 一 上 1 1 < 。， 
地 可 用 /各 7 一 1 2 一 rr)? 个 计 五 (7 一 RYY. 


(2) 如 果 态 已 和 ,可 用 rz 和 估 了 ,其 估计 为 有 偏 估计 . 均 方 偏差 
为 EGR 一 Y)! 二 一生 二 -33(Y, 一 RX,)*. 近 似 地 可 用 


n 


lf 1 yy 合计 EG 一 了)*. 
r=1 


n #1 
定 汉 20. 2.9 称 相 对 均 方 偏差 
TEE 一 Re 人 CE 一 Ch 2pCxCr — C% 
eT Ch 2pCxCr + C3 
为 比 估 什 法 对 简单 估 值 法 的 效率 增 量 . 


其 中 品 :=Elr 丸 一 了 )?* 表示 用 7 习 估计 了 时 所 产生 的 均 方 
偏差 . 

os 一 品 一 EE(y 一 了 )? 表示 在 简单 估 值 法 中 用 y 估 了 时 所 产生 
的 平均 平方 偏差 . 

定理 20. 2. 10 比 估 值 法 优 和 于 简单 估 值 法 , 即 效率 增 量 e 守 0 
的 充 要 条 件 是 心 入. 

由 定理 可 知 , 当 使 用 辅助 指标 买 时 ,X 的 变异 系数 C% 傅 小 全 
好 ,而 蕊 与 调查 对 象 了 的 相关 系数 P 则 人 请 大 傅 好 . 


20.3 分 层 抽 样 法 


20. 3. 1 分 层 简单 估 值 法 
设 总 体 I 分 为 是 层 
Hy = Hy, U Hs, U 屿 者 U 了 Ts， 
其 中 再 w 一 { 了 Ta 
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对 每 层 定义 参数 : 
上 
二 1 二 
7.= 2 Y,, 7 一] 2 


人 一 SI/Y?, 上 一 1 ,2 此， 


各 符号 意义 与 节 20. 1.1 完全 相同 ,只 是 多 了 标志 层 号 的 下 标 


记 
,= 冶 ， y= 1 ks 
了 一 >)W.Y, ~= 育 了 了 ,一 总体 Hs 的 指标 均值 
了 二 NY - DY, 一 总 体 Ts 的 指标 和 . 
调查 对 象 是 了 或 
样本 符号 ， 
n, 一 一 在 第 v 层 的 抽样 数 ,vy 一 1,2,…,; 
yy 一 是 在 第 v 层 中 抽取 的 样本 指标 ,v 一 1,2， 
1 
统计 量 ， 
吉 = 尘 了 y 一 一 第 * 层 抽样 指标 的 均值; 
Y= Ny 
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S3 = 二 (yw 一 也 ) 一 -第 , 层 样本 方差 
并 记 


上 二 
ss 一 PD Wy, = ND 
+=] r=] 


4 
as 一 VS3 ; 
c=] 
dkee = ECysse 一 YY. 
定理 20. 3. 1 
(1) 五 (yssg) 一 了 ， 


上 — 
(2) vhsE 一 2 Ww: 本 ,其 中 太一 AP 


3) ElShon)— alee. 
方法 20. 3.2 ”估计 方法 ”用 ysse 估 了 蚌 无 篇 估计 . 
用 wysse 估 了 是 无 偏 估计 . 


20. 3. 2 按 比例 分 配 样本 晤 的 分 层 抽样 法 


按 比 例 分 配 样本 额 是 指 取 


,一 守 一 Wn， 二 十 


其 估计 方 法 与 20, 3.1 估计 方法 相同 ,只 是 在 相应 的 会 式 中 心 的 
地 方 用 坟 二 研 ,x 代 之 . 

按 比 例 分 配 样本 额 分 层 抽样 方法 与 简单 不 分 层 随机 抽样 法 之 
比较 即 SSE{( 按 比例 ) 与 SE 法 之 比较 . SSE 法 对 SE 法 的 效率 增 
量 为 

gd 起 一 GEsF 
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3 
YW, — YY 
2 一 | 


SW,s, 

让 此 可 见 , 层 平均 的 差别 愈 大 , 即 屋 间 差异 愈 大 ,而 各 屋内 方 
差 5; 傅 小 , 则 效率 增 量 愈 大. 所以 总 体 Hy 中 的 个 体 间 有 明显 差 
异 时 , 则 应 将 性 质 相 近 的 划 归 为 同一 层 , 将 [fw 分 成 若干 层 ,采用 
分 层 扫 样 法 . 

分 层 抽 样 法 ( 按 比 例 分 配 样 本 额 ) 决 定 最 小 桩 本 额 . 

(1) 要 使 clsg 一 忆 (ysss 一 了 < 为 事先 指定 的 正 数 ,要 求 
1 


之 


一 一 十 志 
2 WS? 
(2) 要 使 Cie<crvr 为 事先 指定 的 正 数 C&s 一 中, 要求 
1 
阅 ry 1 
4 NM 
> WS: 


(1),(2) 公 式 中 有 未 知 参 数 了 及 51, 这 些 量 可 用 其 它 办 法 先 
做 出 预 佑 ， 


20. 3.3 样本 额 的 理想 分 配 


按 比 例 分 配 样本 额 考虑 了 各 层 中 个 体 数 的 不 同 这 一 差异 性 ， 
而 未 考虑 各 层 方差 之 不 同 , 一 般 说 来 方差 小 的 层 样本 可 少 抽 一 些 . 
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因此 有 一 个 更 合理 的 分 配 样 本 额 的 问题 . 同时 考虑 到 各 层 中 个 体 
数目 的 不 同色 考虑 到 各 层 中 方差 不 同 这 两 个 因素 来 分 配 桩 本 额 称 
之 为 理想 样本 分 配额 , 它 由 下 面 的 定理 来 决定 . 
定理 20. 3. 3 理想 样本 分 配额 为 
WS, WS, 


Lr ， 1 
TW,S, Dw,s, 
因此 要 想 算出 理想 的 样本 分 配额 a.; 必 须知 道 各 层 的 方差 5,. 而 
人 S, 是 未 知 的 . 
方法 20.3.4 5S, 的 先 估 法 
(1) 预 查 法 (pretest method) 先 在 每 一 层 中 少 莉 取 一 序 样 ， 
各 层 的 取样 量 分 别 为 Ml st 9 Re 记 这 些 序 样 为 (zw 了 


zw ) 5 二 12 以 元 - 2 Cz 一 z,)》? 近 似 代 替 多. 再 求 得 理想 
样本 额 ,. 

(2) 察 往 法 ”着 总 体 过 去 被 调查 过 , 则 现在 按 过 去 的 5, 估计 
分 配 样本 荐 . 

(3) 辅助 指标 法 (supplementary variabl method) 总体 五 v 
中 的 个 体 , 除 要 调查 的 指标 Y 外 ,往往 另 有 一 个 “规模 指标 ”, 这 种 
“规模 指标 ”是 度量 个 体 的 规模 大 小 的 , 例如 调查 全 国人 口 出 生 率 ， 
调查 个 体 为 县 , 则 各 县 的 现 有 人 口 就 是 一 个 “规模 指标 ”, 假定 分 层 
按 “ 规 模 指标 ”的 大 小 . 如 调查 人 口 出 生 率 时 ,将 全 国 各 其 按 拥 有 人 
口 的 多 少 分 层 . 此 时 可 假定 各 层 8, 与 筷 , 成 正比 . 从 而 可 得 理想 分 
配 样本 共 . 


20. 3.4 分 层 比 估 值 法 


设 总 体 中 的 每 个 个 体 有 两 个 指标 | 7'] ,将 总 体 分 成 层 
Er "Hy, Ee :Hy,. 
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设 总 体 的 第 v 层 是 
Xu fx。 
whe 
按照 20. 2. 3 符号 的 记 法 ,各 层 相应 的 参数 为 
六 ， 议 ， 咏 SC 
Z YF, a 3 CE 12 
R, Pp: 
仅 增 加 了 标志 层 的 下 标 . 
总 体 的 指标 为 ,YY 
调查 对 象 是 了 或 了 . 
Y= WY,, 其 中 W, 一 宕 . 
设 第 " 层 的 样本 是 


| [ZX 
了 9 Y, Ci 


相应 的 统计 量 为 示 忆 ,六 一 兰 . 


方法 20.3.5 估计 方法 “假定 辅助 指标 成 (一 1,2，…,) 已 


知 , 则 在 每 一 层 中 用 比 估 值 法 ， 
用 rR 个 甩 一 1 2 : 卡 ， 用 ysre 估 了 ,用 SE 居 OSRE 


也 一 1 ,2 大. 


~ 


[3 
其 中 YsRE 一 > 各， 
"一 ] 


Sie 一 ZW? 区 元 工 nl 和 2 一 2 之 十 22) 


估计 的 性 质 是 ， 
用 7, 估 了 了 ,, 其 均 方 偏 莽 为 
E.R, — YF): = lrg — 2RpSy Sx + RSE J 


Hy 
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用 yns 信 了 ,其 均 方 偏差 为 
下 
GERE 二 E(ysrr 一 FY): 二 Sw [sy 一 2R,pSY Sr 十 RS }; 
2 一 上 vr 


用 Saa 估 ospe ,为 近似 无 偏 的 ,ECShes) 二 cpe; 用 ysrg 居 计 了 ,估计 
是 近似 无 篇 的 ,Etysgr) 二 Y. 

通常 情况 下 ,使 用 与 了 关系 密切 的 辅助 指标 X, 采 用 分 层 比 
估 值 法 比 用 简单 分 层 信 值 法 能 得 到 更 好 的 佑 计 . 


20.4 二 阶 抽样 法 


凡 作 调查 , 必 有 一 批 完全 明确 的 最 小 单位 ,它们 组 成 总 体 . 前 
儿 章 所 讨论 的 抽样 法 句 认 为 最 小 单位 可 直接 编号 ,再 进行 随机 抽 
样 . 但 是 实际 工作 中 往往 遇 到 最 小 单位 不 易 直 接 编 号 的 情形 , 例如 
要 调查 全 市 各 小 学 中 学 生 的 学 习 捕 况 、 健 康 情 况 等 各 项 指标 . 由 于 
小 学 生 数 量 极 天 ,他们 的 情况 由 他 们 所 在 的 小 学 掌握 . 因此 可 以 不 
把 全 市 小 学 生 统 一 编号 ,而 把 全 市 小 学 编号 ,作为 第 一 性 抽样 单 
位 ,在 所 抽 到 的 学 校 中 再 将 学 生 编 号 ,作为 第 二 性 抽样 单位 , 即 采 
用 二 阶 抽样 法 , 用 二 阶 抽样 法 ,由 于 被 抽 个 体 只 集中 于 第 一 阶 抽 样 
的 若干 小 学 中 ,因而 具有 节 力 , 节 时 等 优点 ， 


20. 4. 1 二 阶 抽样 问题 的 一 般 提 法 


设 总 体 Hw 分 为 组 ; 

Hw 一 {Hy Hy Hw Hv} 对 每 个 组 nC 一 1,2,… ,有 ) 都 
有 一 个 调查 指标 Gi(G; 可 以 是 了 或 了 ;,…), 组 内 调查 的 目的 是 估 
计 Ci 而 总 的 调查 县 的 是 要 估计 

G=G 二 G+ 十 GG. 
因为 可 能 抽 到 任 一 组 ,从 而 可 能 在 任 一 组 内 进行 抽样 调查 ,所 以 事 
先 应 对 每 一 个 组 拟定 一 个 抽样 计划 ,并 选 定 对 组 指标 的 估计 方法 
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(例如 在 节 20. 2,20. 3 中 所 介绍 的 某 种 估计 方法 ). 
将 上 述 的 有 关 量 ,给 以 适当 的 罕 导 , 见 表 20. 2. 
假定 所 选 之 g; 是 G&G 的 无 偏 基 计量,S3 是 o 的 无 篇 佑 计量 . 


表 20.2 
Tv 

{Tw, 了 Hs 
组 指 标 Gi Gy 罗 G 
拟定 的 组 内 抽样 法 某 法 某 法 某 法 
拟定 的 估计 重 ”| Bi Bs 人 Bs 
舍 计量 的 均 方 偏差 i 人 “+ a 
均 方 偏差 的 估计 量 3 SE 人 Ss, 


总 体 指 标 G 的 估计 方法 不 仅 依 来 于 组 内 的 抽样 法 ( 即 第 二 阶 
抽样 ) 而 旦 依赖 于 如 何 抽 组 ( 即 第 一 阶 抽 样 ). 
方法 20. 4.1 第 一 阶 抽样 法 ( 抽 组 法 } 
(1) 随机 抽 组 法 ;等 概 无 放 回 地 抽 组 下 次 . 
(2) 有 返 癌 (pi,pi，… ,pxr) 抽 组 法 :有 返回 地 抽 组 下 次 ,每 次 
抽 到 Hw 组 的 概率 为 pp. 


20.4.2 二 阶 抽 样 之 估 值 法 


抽 组 法 是 随机 抽 组 法 时 之 估 值 法 . 
定理 20. 4. 2 设 用 随机 机 组 法 在 玉 组 中 抽 到 大 个 组 为 I, ， 
了 we ;oy : 则 有 


(1) g 一 第 gs 是 G 的 无 偏 舍 计量 , 即 有 EE(g) 一 G 


2 
{1 


2 
(2) 5 的 均 方 偏差 为 中 一 Elg 一 G)* 二 和合 V 十 和 
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站 7: 其 中 力 一 开衫 KG 一 前， 
(3) 一 二 了 5% 是 V, 的 无 偏 估计 量 


WP Ls 是 Y; 的 无 偏 估计 


量 . 

(5 车 o 不 存在 无 偏 估计 量 5%, 则 以 营 二 每 (1 一 让 二 二 
六 | es 一 得 ] 来 估计 号 ,这 个 估计 是 有 偏 的 ,但 其 偏 与 性 相 比 
小 于 /KK. 

抽 组 法 是 有 返回 Cp :Pa 时 之 信 计 法 ， 

定理 20.4.3 设 用 有 返回 (pi ,ps，…,pr) 抽 组 法 ,得 到 上 个 
组 为 - 

Iy, sy, sdly + 


(3) a 一 en 2 一 2 是 oz 的 无 偏 估计 ， 


上 汪 定 于 20 4.2 及 20.4.3 之 估 值 法 ,不 论 组 内 的 抽样 方案 
如 何 都 适用 . 如 果 组 内 抽样 是 采用 随机 抽样 法 ,组 指标 G 一 多 . 采 
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用 二 阶 抽样 法 的 估 值 法 在 下 面 介绍 ， 
20.4.3 组 内 为 随机 抽样 时 的 二 阶 抽样 估 值 法 


组 指标 G =Y,= SY, 
总 的 调查 对 和 象 全 一 到 一 他 十 和 ,十 十 位 ， 


在 组 Hw 内 采用 中 机 抽样 法 (参看 方法 20. 1. 3). 
(1) GG 的 无 偏 估 计量 为 


~ NN 
Ei 一 VY -一 元 之) 
1 oii 


《2)》 8 的 均 方 偏差 or =Etg—G), 


os = MN? lo— figs, 
: nn; 
Fi 
其 中 六 = 六， 
i < 
323- YY)? 
S3 一 一 了 2 7 了 2 ， 
1 
了 ;一 KY 
(3) 吗 的 无 偏 估计 量 为 
3 ~ N? L— fs, 


其 中 一 An 1 2 i yyy, yy; 一 Dy 
20. 4. 4 ”随机 抽 组 法 


拙 组 法 是 随机 抽 组 法 ( 简 记 为 TSE) ,而 且 组 内 抽样 是 随机 抽 
样 法 醒 ,总 指标 子 ,Y 的 估计 方法 为 
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(1) 用 Yrsr 一 Dy 估计 == 区 十 他， 十 十 了 ,, 
此 估计 是 无 偏 的 ,BH 五 (Srsg ) 一 他 


(2) oh — ECPrse— YY: 沪 
下 KK: 
2 — 
ce 一 全 说 十 人 (一 站 V， 
其 中 -7 一 元 ， 


五 KK 
i . 
太一 六 中 六 全 (1 一)S9， 


r=1 1 一 】 
KE KE 一 
1 Gl? 1 Yr? 


入 一 玉 225% 一 诗 包 守 (1 一 思 ] 35 是 V, 的 无 偏 信 计 量 


是 的 无 偏 估计 基 . 
20. 4. 5 返回 抽 组 法 


抽 组 法 是 有 返回 (pi ,ps，…' ,pp;) 法 ( 简 记 TPE), 有 日 组 内 抽样 是 
随机 抽样 法 时 ,总 指标 了 ,了 的 估计 为 
(1)》 用 roe== 主 G21 二 zy 十 十 1) 


1 De, Ve, 
E prt pet Tp 

来 估计 将, 其 估计 为 无 偏 的 , 即 
玖 (3rrs) — Y 


《2) 用 jrpe 估 计 字 的 均 方 偏差 为 
a 和 38 * 


Gpe 一 ECYrpe 一 YY): 
1 1 NO/)o | 
- 记 取 元 932 十 ol 2 yj . 


1 一 
re 一 ACR— 1) 之 (zi — 2)°, 


其 中 一 闫 ， = 一 去 < 有 Em) 
当 N=Ns=""* = N=No mn No 时 ,他 及 YY 的 
估计 可 用 下 面 方法 得 到 : 


(3) 当 N= 二 N= 二 NovMm 二 1 一 时 ,用 YrtpE = 


于 开 舍 计 ,其 中 一 


有 二 9 二 局 垃 时 + 剖 守 n( 于 -kz 


_ 1 _ Noy, ” 
or = KR 1 2 6% 一 3?, 其 中 “一 
(4) 当 Ne 时 ,用 
5 3 
一 ， , 
?meE 天 Rp, Kp tT Rp tty, 此 估计 是 无 偏 的 . 其 均 
方 偏差 为 
dES 1 IY yg) 
wi EnoK: > +7) 
< 1 * Yy, 


2 
Te RR 1) A 
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21 随机 过 程 的 一 般 理论 
21. 1 3| 言 与 基本 概念 


21.1. 1 引言 与 例 


事物 的 变化 过 程 可 分 为 两 大 类 . 在 每 个 固定 时 刻 ,变化 的 结 
果 , 一 类 是 确定 的 ,这 结果 可 用 + 的 某 个 确定 性 函数 描述 ,例如 
sint; 男 一 类 是 随机 的 , 即 以 某 种 可 能 性 出 现 多 个 (有 限 或 无限 多 ) 
结果 之 一 ,这 结果 可 用 与 :有关 的 某 个 随机 变量 描述 ,例如 泊 松 型 
变量 X. 一 Pi 为 参数 1 人 0. 前 一 类 变化 过 程 称 为 确定 性 过 程 
(deterministic process ), 而 后 一 类 即 随机 这 程 (stochastic 
process). 显然 ,前 者 可 视 为 后 者 的 特例 . 随 着 研究 的 深入 ,许多 原 
先 用 确定 性 方法 处 理 的 ,都 逐渐 为 随机 方法 所 代替 , 即 深 化 为 随机 
这 程 的 研究 ， 

随机 过 程 理 论 产生 于 20 世纪 初期 ,首先 由 于 物理 学 .生物 学 、 
通讯 与 控制 .以 及 管理 科学 等 方面 的 需要 而 逐步 发 展 起 来 的 . 现 
在 ,随机 过 程 的 理论 与 方法 几乎 深入 到 每 个 自然 与 社会 科学 的 
分 支 ， 

例 21.1.1 直线 上 的 舌 机 游 动 (random walk) 设 一 粒子 从 
零点 出 发 ,每 次 随机 地 向 左 或 向 右 移动 一 个 长 度 单位 ,概率 分 别 为 
gg (>0) ,pl 一 1 一 g 六 站 .以 XX, 记 该 粒子 次 移动 后 的 位 置 , 则 
{ 和 一 0,1,2,…} 是 一 个 随机 过 程 . 

例 21.1.2 以 蕊 记 至 :时刻 止 某 电 话 交 换 台 接 通 的 电话 次 
数 , 则 (X,r 芝 0 是 一 随机 过 程 , 若 以 六 记 至 上 时 刻 止 ,向 此 交换 人 台 
的 电话 呼 划 次 数 ( 要 求 接 通 电话 ), 则 (5,t 写 0} 也 基 随 机 过 程 . 
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例 21.1.3 以 全 表示 未 来 第 ”年 基地 地 下 水 位 的 高 度 ( 或 
年 平均 气温 等 ), 则 {XX,,n 二 1,2,'"} 是 随机 过 程 . 

例 21.1.4 布 关 运动 (Browpian motion) 英国 植物 学 家 
了 R. Brown 注意 到 悬浮 在 液 面 的 微小 粒子 ,不 间断 地 进行 着 "杂乱 
无 章 ” 的 运动 . 粒子 的 这 种 运动 ,是 由 于 大 量 相互 独立 的 分 子 随机 
碰撞 形成 的 . 如 用 8 全 (人 7Y) 表 该 粒子 在 时 记 上 的 位 置 , 则 1 和 ,1 宕 
4} 是 一 随机 过 程 , 通 常 它 是 二 维 布朗 运动 . 


21.1.2 随机 方法 与 确定 性 方法 


为 研究 事物 变化 过 程 或 系统 性 ,建立 数学 模型 时 ,有 两 种 方 
法 ;随机 性 方法 与 确定 性 方法 . 这 两 种 方法 中 所 涉及 的 数学 方程 也 
许 形 式 类 似 , 但 它们 要 回答 的 问题 的 本 质 及 所 得 结果 的 解决 , 却 有 
重大 差异 . 

例 21.1.5 随机 性 方法 与 确定 性 方法 比较 ” 设 某 细 蓝 群体 
的 个 数 在 人 十 各 ] 时 段 内 只 能 增加 ,增加 的 数量 与 上 时 细菌 数 成 
正比 . 开始 时 (t= 站 细菌 数 为 zo>>0， 

(1) 确定 性 方法 ” 设 时 刻 t 的 细菌 数 为 x(t), 依 设 Az(b 一 


Xe)At,4>0, 令 At 一 0 得 5 四 一 Az (4). 代入 初 值 解 得 z(t) 一 


zoe ,这 里 zt#) 是 实 什 连 续 函 数 . 
(2) 随机 性 方法 ” 设 1 时 细菌 数 为 一 随机 变量 苹 ,. (t,t 十 Az] 
内 增加 的 细菌 数 与 At 有 关 而 与 1 无 关 , 则 XX, 一 xz 条 件 下 久 ,iw 变 为 
xz 十 1 个 的 概率 为 
P(X = 1|K, = rx) = ArAt 十 DAI)7， 
艾 设 在 (tv 十 A 内 增加 不 少 于 两 个 细 苦 的 概率 为 otAt), 则 
五 (Xu = 7X) = (1 一 Ar) 有 = 7) 
十 A(zF Oo AP(R, = x 1) + olA), 


邻 如 一 0 
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EPOX, = T= AP(X = A PX = Ao 1) 


初始 条 件 已 (X 一 2 一 1, 当 > 一 < < 一 0, 其它 了 

解 得 已 (一 xz 一 Ce 一 ez 与 确定 性 方 
法 不 同 , 在 固定 时 刻 ,这 里 不 是 给 定 一 个 确定 的 细 苗 数 而 是 对 每 
数 对 (zz),f 字 zo 给 定 一 个 概率 P(X, 一 x)E [0,1j. 确定 性 模型 
可 认为 P(X, 一 zoe*) 一 1. 又 注意 


EX, 站 Dp, 一 之) 一 nei 


正 是 确定 性 问题 的 解 (当然 并 非 所 有 系统 均 如 此 )， 可 见 随 机 方法 
的 解 还 考虑 了 群体 增长 的 起 伏 ， 


21.1.3 随机 过 程 的 基本 概念 


1. 随机 过 程 定义 

定义 21.:1.6 设 给 定 一 参数 集 了 和 可 测 空 间 ( 五 ,到 ), 若 对 
每 个 上 ET 了 ,有 一 个 定义 在 后 一 概率 空间 (0 多,P? 上 的 史 可 测 郑 
数 ,Cw) ,wEE 身 与 之 对 应 , 则 称 可 测 匿 数 族 廊 7 会 {XCw) ,1ET) 为 
定义 在 (人 0, 多 ,P) 上 取 值 于 (E, 多 ) 中 的 随机 过 程 , 称 (E, 织 ) 为 X 
的 状态 空间 (state space) 或 相 空 间 (phase space}) ,五 中 元 素 称 为 
状态 (Cstate). 当 人 五 , 咖 ? 已 明确 指明 时 ,简称 不 * 为 随机 过 程 或 过 
程 , 而 五 为 状态 空间 . 又 称 了 为 参数 空间 (parameter sbace). 

定义 21.17 当 五 为 实数 (复数 ) 集 ,多 为 互 上 搏 雷 尔 本 测 
集 全 体 时 的 随机 过 程 Xr 称 为 实 ( 鼻 ) 值 随机 过 程 , <E,. 客 > = 
二 RR， 5 > 时 称 Xr 为 #4 维 实 值 随机 过 程 . 当 了 中 元 素 t 是 向 量 
时 , 称 葬 7 为 随机 场 (stochastic field) ,或 多 参数 过 程 . 

由 定义 21.1.7 可 知 , 实 ( 复 ) 值 随机 过 程 Xr(w) ,对 每 一 固定 
tiET ,Xio) 是 102:. 多》 上 实 ( 复 ) 值 随机 变量 :对 每 一 固定 mE D， 
及 ,Cw) 是 于 上 实 ( 复 ) 值 函数 .这 时 也 称 它 是 过 程 Xr 的 一 个 样本 函 
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数 (satmple function), 或 轨道 (trajectory) 或 路 径 (path) 或 现实 
《realization )， 

注 21.1.8 约定 除 另 有 声明 外 ,本 卷 以 下 了 恒 指 参数 集 ; 随 
机 过 程 恒 为 实 值 的 . 也 常 记 Xz 为 XiET 了 ,了 =[0,cc)? 时 也 写作 
臣 ,,t 这 0, 芝 (ww) 视 为 荆 X 上 的 二 元 诸 数 时 常 记 为 基尼 ,ww) ,在 不 
致 混 满 时常 略 去 w, 写 为 了 ., 久 (7) 等 ,也 常 以 其 它 大 写字 母 Y,Z 等 
及 希腊 字母 5,7 等 记 之 ， 

2. 独立 性 与 有 限 维 分 布 晴 数 族 

定义 21.1.9 如 对 任意 的 mn 及 不 同 的 #4ET,i==1,2,*…,n.n 
个 随机 变量 革 ,,i 二 1,2,…1,w 为 相互 独立 的 ( 当 了 有 限时 ,= 不 趟 
过 了 的 元 素数 )， 称 过 各 Xr 为 独立 的 (independent, 如 对 任意 的 
豚 不 同 的 EA 一 1,24 1m 有 了 (Xi (wm) € Bi = 12 


= [roa :ww) 所 有 ) 称 过 程 族 Xr AGE A (CCR1) 是 相互 独 


立 的 . 这 里 B: EB ,后 者 是 习 积 空间 玖 “中 的 乘积 r 代数 . 
定义 21.1.10 设 参 数 集 了 已 知 ,对 给 定 的 任意 2 个 *ET， 
为 元 分 布 孙 数 , 则 称 
FA {FT tT, 
TE R= li2 nn 0} 

为 有 限 维 分 布 函 数 族 (family of finite dimensional 
distribution functions) ,如 Cr Xo) 是 叉 , "XX 的 联合 
分 布 , 则 称 下 为 ( 实 值 过程 Xr 的 有 限 维 分 布 函 数 族 ， 

定理 21.1.11 科 尔 英 准 罗 夫 存 在 定理 (Kolmogorov 
existence theorem) 设 F 下 为 有 限 维 分 布 函 数 族 ,如 对 1,…,n 的 
任 一 排列 局 ,*…' ,i 有 Ne) 0 0 
mn, MF, CT rm) CO— lim Fn CT} 则 


Tm 12=m 十 t， 


存在 概率 空间 (9, ,P) 及 其 上 的 随机 过 程 X 使 X; 的 有 穷 维 分 
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布 族 Frx 与 下 重合 . 

定理 中 天 满 足 的 条 忻 称 为 相 容 性 条 人 忻 (consistency 
condition), 

3. 均值 函数 与 协 方差 函数 

随机 过 程 Xr 由 它 的 有 限 维 分 布 范 数 族 Fx 决定 . 给 定 Fx 就 
能 对 Xz 作 全 面 的 研究 . 但 在 许多 实际 问题 中 ,要 知道 Fx 是 很 困 
难 的 ,常常 用 统计 的 方法 , 求 出 Xr 的 某 些 特征 ,从 而 对 Xr 的 某 些 
特性 做 讨论 ,这些 竺 性 往往 正 是 我 们 要 研究 的 实际 问题 的 焦点 ,又 
易于 运算 . 有 时 ,这 些 特 性 能 决定 全 部 过 程 , 像 概 率 论 中 知道 数学 
期 望 和 方 盖 就 能 完全 决定 一 个 正 态 分 布 的 随机 变量 的 概率 分 布 , 
因此 ,对 它们 的 研究 很 重要 ， 

这 些 特征 ,最 有 用 的 是 均值 四 数 与 协 方差 函数 . 

定义 21.1.12 设 Xz 为 复 值 过 程 , 且 下 面 涉及 的 数学 期 望 存 
在 , 称 各 (会 上 XiET' 为 Xr 的 均值 函数 (mean functicn) ,而 称 

T's AECXs—m(s) CR — mC)) 
=EXsR—m(s me), stET 

为 和 的 协 方 差 国 效 (covariance function). 称 VCO) 和 AT(,1) 
三 EX 一 m(t) | ,ET 为 Xr 的 方差 消 数 (variance function). 
YVU) 为 均 方 根 整 (imean square root variance) 栈 数 或 标准 差 
(standard deviation) 殉 数 . 也 记 玉 CG) 为 vartz) 或 DG). 称 R(s ,1) 
和 EX 及 ,st 村 为 Xr 的 ( 自 ) 相 美 冰 娄 Cauto-correlation 
function). 

当 Xr 为 实 值 时 ,了 (5)2) 二 ECKs 一 mr (5)) (XX, 一 m2(1)); 而 当 
Xr 均值 函数 恒 为 零 时 ,TT(s ,1) 一 Res,t). 

对 均值 溪 数 与 相关 小数 的 研究 是 相关 理论 Ccorrelation 
theory) 的 主要 内 容 . 

定义 21.1.13 设 Xr 和 Yr 是 同一 概率 空间 上 的 两 个 复 值 过 

4 


程 , 昌 瑟 | 基本 ce 有 | 及 ET 它们 的 均值 郧 数 分 别 为 
Pax(t) mr DET. NNTeys DAECER. -mtd my), 
5 了 ,为 及 7 与 了 的 互 协 方差 国 数 (Ceross covariance funetiony ， 
而 Rey test 全 EX stET 为 它们 的 互相 关 国 数 (cross 
correlation function), Hry(s OY sf ET, 则 称 避 7 与 了 7 不 
相关 . . 

易 风 了 xys 一 Rjy 5 让 一 x 中 故 慷 1 与 Yy 不 相关 等 
价 避 Rtas 一 x(t sot 全 了, 由 定理 4.4.8 及 例 4.4 
知 ,两 过 程 独立 一定 不 相关 ,反之 不 - 定 成 立 . 

定理 21.1.14 设 充 : 六 多 值 过 程 ,| | 之 0,1tET, 则 
Ps 有 如 下 性 质 

《1) 复 对 称 性 卫 ( 一 把 Cr] 

(2) 非 负 定性 ”对 每 一 n 及 任意 的 ET 与 复数 ,i 二 1,2， 
| 存 


之 


r= 1 


21.2 随机 过 程 的 分 类 


21.2. 1 按 人 参数 集 与 状态 空间 分 类 


按 随 机 过 程 7 一 {XtET) 的 参数 集 T(CCRD 与 状态 空间 玉 
是 否 可 列 , 可 分 为 4 类: 

(17 荆 ,EE 都 可 列 . 

《2 研 不 可 列 ,E 可 列 ， 

(3) 工本 列 ,E 不 可 列 . 

{4) 本 ,EE 都 不 可 列 ， 

当 了 洒 列 时 ,也 称 部 为 离散 参数 随机 过 程 (stechastic 
process with discrete parameter) ,或 随机 序列 (random sequence) 
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或 时 间 序 列 (time series), 当 了 连续 cc 即 荆 二 RI 或 浆 尺 中 -有 限 
和 和 元 限 区 间 ) 时 , 称 Kr 为 连续 参数 (continuous parameter ) 过 程 . 
碧 可 列 ( 有 限 ) 时 ,也 称 Xi 为 可 副 ( 有 限 ) 过 程 (denumerable 
(finite) Process) ,或 离散 状态 过 程 (diserete state Process). 五 连 
续 的 夺 r 为 连续 状态 过 程 Ccontinuous state process); 例 21, 1.,1 
给 出 的 过 程 是 离散 参数 离散 状态 过 程 属 于 上 述 分 类 (1)，, 例 
21.1.2 一 21.1.4 分 别 是 (2? 一 (4) 中 的 过 程 . 


21.2.2 按 过 程 的 性 质 特 点 分 类 


按 过 程 的 性 质 特 点 , 即 X, 疗 的 概率 关系 ,也 可 对 过 程 进 行 分 
类 . 接 此 分 类 研究 得 较 多 的 过 程 类 型 ,有 二 阶 矩 过 程 , 马 尔 可 去 过 
程 .独立 增 基 过 程 及 鞠 . 当 参 数 上 是 矢 基 时 ,xy 是 随机 场 .这 些 类 
型 是 有 交叉 的 ,不 像 21. 2. 1 节 的 分 类 互 不 相 容 . 

本 段 恒 设 了 一 [0,cc)， 

1. 二 阶 矩 过 程 

定义 21.2.1 如 过 程 义 + 二 {X,,t 实 0}, 对 每 t 汪 0,X, 的 方差 
都 存在 , 则 称 它 是 二 阶 矩 过 程 (4seeond order process) 或 有 限 方差 
过 程 (finite variance Processy》， 

由 定理 4.3.2 及 柯 西 - 施 瓦 区 (Cauchy-Scehwartz) 不 等 式 …- 
个 二 阶 矩 过 程 的 均值 消 数 与 协 方差 函数 都 存在 , 研究 二 阶 矩 过 程 
特性 ,主要 是 研究 协 方差 函数 特性 ,并 以 此 为 基础 ,研究 过 程 的 解 
析 性 质 ( 连 续 性 , 均 方 可 微 与 可 积 等 }. 协 方差 函数 的 傅 里 叶 变 换 称 
为 谱 密度 函数 ,因此 二 阶 算 的 宽 平 稳 过 程 特性 又 可 用 谱 分 析 方 法 
进行 讨论 . 

二 阶 抵 过程 的 详细 讨论 见 第 22 章 , 其 重要 子 类 有 正 态 过 程 ， 
( 宽 ) 平 稳 过 程 ( 第 23 章 ) 与 正 菇 增 量 过 程 . 

定义 21. 2.2 谐振 过 程 ” 设 成 一 号 os 天 十 闫 in8 0S4 宝 1( 即 
了 二 [0,1]); 其 中 ,随机 变量 二 与 7 独立 同 分 布 CO) 为 常 
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数 . 称 Xz 为 谐振 过 程 , 易 知 它 是 二 阶 矩 过程, 据 多 元 正 态 分 布 性 
质 : (久久, ,XX 是 维 正 态 的 充 要 条 件 是 对 任意 不 全 为 等 的 


实数 a1,as,… ,as 和 aK, 一 | > 1aicosg 1 十 | D> ausingt] 了 
基 一 元 正 态 的 ,由 于 ,7 独立 且 正 态 ,后 一 条 件 满足 ,从 而 X; 为 
正 态 过 程 (22. 3. 1). 易 求 得 

my 一 有 站， 有》 = gicosh(s -41), 

于 是 Xr 也 是 零 均 值 ( 宽 ) 平 稳 过 程 . 

2， 马 尔 可 去 过 程 

粗略 地 说 ,马尔 可 去 过 程 是 具有 无 后 效 性 的 随机 过 程 .所 谓 无 
后 效 性 ,是 指 已 知 过 程 现在 的 条 件 下 , 它 将 来 的 统计 规律 与 过 去 无 
关 , 一 般 工 程 系统 中 的 随机 过 程 都 是 马尔 可 夫 过 程 ， 

定 21.2.3 设 是 以 可 测 室 间 人 EE, 各 ;为 状态 空间 , 称 
Xr 是 马尔 可 去 过 程 .如 Y AE 滨 以 及 庙 芝 4 之 ty 拖 放 tf, 有 如 
下 性 质 ( 称 马尔 可 去 性 》， 

PREAIX, Ki sr Ko IEP E AIX, } sa.s 
其 中 已 (，|X ,XX,) 指 条 件 概 率 变量 , 它 是 otX, 天 可 测 
的 , 特别 ,E 可 列 时 , 称 X; 为 离散 参数 马尔 可 夫 过 程 ,简称 马尔 可 
夫 链 (Markov chain ) ,或 马 氏 链 . 

对 马 开 链 , (21,1) 式 有 如 下 等 价 形式 ;对 任意 7 及 状态 ma 
PK 一;j 一 0,1,… ,1n) >0, 就 有 
POCORN 一 和 | 大 一 划一 一 | 一 

妆 他 =[0,ese) 而 吾 可 列 时 , 蕊 为 于 () 即 可 ,这 里 去 < 近 右 所 和 
tert1(21.1) 的 一 般 化 见 (24. 3.1). 

例 21.2.4 设 太 ,7 为 独立 列 , 则 天 一 > "Yisn 一 1,2， 
… 是 马 氏 链 . 由 此 知 随机 游 动 中 过 程 (X.) 是 -- 马 氏 链 . 因 若 令 

fl， 若 第 次 游 动 向 右 ， 
”| 一 J， 反之 . 


zz 一] 2 
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则 诸 艺 独立 旦 以 ,一 > 7 ， 

定义 24.2.5 称 Xr 一 itrs0) 为 独立 增 量 过 程 
Cindependent increment process )， 旭 本 上 0 
1., 增 量 XX, 一 所 一 XXX 一 到 ,相互 独 羡 . 

独立 增 景 过 程 的 重要 地 类 是 泊 松 过 程 和 维 纳 (Wicner) 过 程 ， 

.和 扶 

定义 21.2.6 设 开 = [0,oo) 或 =10.1,2,…) 称 实 值 过 程 
XX 为 (5 ) 蒜 (martingale) ,如 

(1) ( 安 ) 是 参考 族 (Peference family). 即 ,多 的 子 o 代数 族 ， 
日 递增 \ 帮 连续 :学 Co 如 es 也 ,一 六 .会 [| 光 。 

02) 器 为 (和 适应 (adapted to (0) ,了 XX,E .iY 1 

C3) EIX,| ootET, 

C4Y FEOX, NT) SR sas YY st ET. 

蒜 始 于 20 世纪 30 年 代 末 至 50 年 代 初 ,是 现代 随机 过 程 理论 
中 最 活跃 和 最 富 于 成 果 的 分 支 . 在 马尔 可 大 过 程 .点 过 程 .估计 理 
论 .随机 系统 优化 与 控制 及 决策 管理 等 领域 中 有 广泛 应 用 . 鞭 的 收 
敛 性 与 随机 微 积分 概念 及 运算 是 研究 的 两 个 主要 内 容 . 

例 21.2.7 设 {Y,,n 主 0) 为 随机 变量 列 (r sv,s) ,了 Fn 二 0 CYos 
YY .了 为 随机 变量 卫 玉 |X| 过 0, 令 X= EF(XI1,), 则 
{Xn 主 0} 是 CP,) 款 .此 台 称 桩 布 蒜 过 程 (Doob’s martingale 
process). 

例 21.2.8 设 {Yn 这 0} 为 独立 列 ,EY, 二 0,n 之 0, 又 设 gi 是 
元 博 尝 尔 可 测 函 数 ,b 一 gCYorYsY 7), 且 EElb <0%0， 
nL 邻 X, = To 二 DY bY ,ro=consty ,oYor nn Ya) > 
1; 则 {XX 全 1) 是 (FZ,) 讽 . | 

上 事实 上 由 El 过 coo,E|Yil 近 oo 及 zo 二 const 可 知 E1X, | 之 
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oo 又 革 - 一 包 十 各 Yi 故 由 条 件 期 望 性 质 太 YY 与. 
独立 ， 


ECX, | 1 | 多。 一 EON, | 过， 十 Elbatl 1. ,) 
= XElY. | ,) 
一 其 ,十 如下 了 一 天， 


21.3 随机 过 程 的 可 分 性 


21.3.1 过 程 可 分 性 的 定义 


可 分 性 是 为 研究 芝 续 参数 随机 过 得 样本 函数 的 性 质 ( 连 续 性 、 
可 微 性 和 有 界 社 等 ) 而 引入 的 概念 . 由 于 概率 空间 (8,. 记 ,也 ) 中 . 安 
只 保证 对 可 列 多 个 事件 的 并 ,公有 及 求 余 封 闭 , 而 像 ww 集 

B= {wsupX(w) Se} 一 人 ee < 
HH ie [Lap 

涉及 非 可 列 的 无 穷 多 个 事件 的 并 ,从 所 就 不 能 保证 冯 是 一 个 事件 
(BE ). 

可 分 性 引入 就 解决 六 这 类 问题 . 

纪 定 简 记 oo 集 {oo; 训 (0) 和 0 困 ( 尽 入 ei; 芒 ,(w) 捷 及) 为 
(KE 4) 等 等 . 

定义 21.3.1 称 隔 数 xz(2),1E€ 了 关于 集 KRR 是 可 分 的 
《sepatable) ,如 xTCCXxr ;也 有 即 对 和 任 一 七 本 ,可 找到 点 列 {r,;CR( 介 
许 某 个 x; 二 rj,i 才 站 ,使 同时 有 

ro tr) re tt nr oo, 

称 RR 为 此 育 数 的 可 分 集 (separable set). 

定义 321. 3.2 称 过 程 X7 关于 可 分 ,如 存在 一 概率 为 零 的 
集 六 ,使 对 任 - 一 o 香 闪 ,样本 图 数 天 (ootET 关于 RR 可 分 ,此 时 称 
尺 为 Xr 的 可 分 集 ,N 为 Xi 的 例外 集 . 

称 过 程 Xz 是 可 分 的 ,如 存在 了 的 可 列 笛子 集 及 ,使 它 关 于 只 

”49。 


可 分 . 如 Xr 关于 了 的 任 一 可 列 笛子 集 都 是 可 分 的 , 则 称 过 程 关 r 
是 完全 可 分 的 (fujly separable). 

定义 21.3.3 样本 函数 连续 ( 右 连 续 ,. 左 连续 ?的 过 程 称 为 
连续 〈 右 连续 .去 连 续 ) 过 程 (Ceontinuous/right-continuousy/ 
left-continuous/process ). 

例 21.3.4 连续 过 程 是 完全 可 分 的 . 下 一 过 程 {X,tEE 
[0,1j]} 是 不 可 分 的 : 

1， 如 上 一 名， 
一 0， 如 ttw [50,1]. 
这 里 概率 空间 为 (L0,1], 经 [0,1], 工 ), 芭 [0,1] 记 [0 中 勒 贝 格 
可 测 集 全 体 ,为 [0,1] 上 勒 贝 格 测度 . 

如 X; 是 可 分 的 , 则 (ZE 4A,Y 1ET)E.F, 其 中 4 为 任 一 有 
界 闭 集 ;(X 在 TT 有 界 )E .9 ;(X, 在 16 连续 )、(|Xy 一 Clie) 、 (XX 
在 [46] 上 均 义 连续) ,[a,6]CT 及 (infX,<c) 均 为 事件 ,VY cE RR，， 
从 而 infX, 是 随机 变量 . 对 suapX,,limX, 及 limX, 可 建立 类 似 结 
论 . 可 网 ,对 连续 参数 计 程 的 研究 ,可 分 性 是 一 个 最 起 码 也 是 最 重 
要 的 要 求 . 


21. 3. 2 可 分 修正 


并 不 是 所 有 连续 参数 过 程 都 是 可 分 的 . 能 不 能 对 过 程 作 些 改 
造 , 使 它 变 成 可 分 的 ,而 此 改造 不 影响 过 程 的 概率 性 质 . 

定义 21.3.5 如 PX, 一 了) 二 1,Y +tET, 称 两 过 程 Xr 和 Yr 
是 随机 等 价 的 (random equivalent), 也 称 Yr 是 Xr 的 修正 
(modification). 

定理 21. 3.6 杜 布 定理 ” 任 一 过 程 必 存 在 可 分 的 随机 等 价 这 
程 { 称 为 原 过 程 的 可 分 健 正 (separable modification). 

这 祥 , 当 研究 只 涉及 过 程 的 有 限 维 分 布 画 数 时 ,总 不 妨 设 原 这 
程 是 可 分 的 . 
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定义 21.3.7 如 YET 及 e>0. 有 limP(|X,…X,| 半 e) 一 0, 
称 Xr 为 随机 连续 的 Crandom continuous), 或 依 分 布 连续 的 


{continuous with distribution ). 

以 14s[ + 习 易 二 =s 时 ,如 相应 的 极限 等 式 成 立 , 称 X, 为 左 
[右上 随机 连续 的 fleftcright jrandom continupus )， 

定理 21. 3.8 可 分 过 程 如 随机 连续 必 完 全 可 分 . 


21. 4 样本 函数 连续 性 与 阶梯 性 


为 使 消 数 在 [0,o0) 上 连续 ,只 费 它 在 任 一 [a,8j,0 志 4a<5 上 
连续 即 可 . 故 以 下 设 本 == Du,51. 

定理 31.4.1 设 尺 是 Xz 的 可 分 集 , 六 为 例外 集 如 对 每 mw 稚 
六 样本 焉 烙 压 ,(o) ,ao 各 六 在 忍 上 一 货 连 续 , 刚 在 了 一 [a:o 上 一 
致 连续 . 

定理 21. 4.2 设 对 可 分 过 程 天; 存在 三 个 正 实数 ayc 和 ,使 
| 一 ac A YY 十 AE La,5j 则 芭 完 全 可 分 二 过 程 
存在 连续 修正 过 程 , 即 X, 的 几乎 所 有 的 样本 峭 数 ( 即 以 概率 1) 

定理 21.4.3 设 过 程 Xr 增 基 AX, 人 Xs 一 ,t,t 十 AE 
[a,] 是 零 均 值 正 态 的 ,日 3 ce 全 0,e 之 0 使 VCAX) 护 c141', 则 称 
Xr 样本 函数 以 概率 1 在 [a ,2 均匀 连续 ， 

定义 21.4.4 称 普通 实 值 两 数 rtt)ya 扫 : 委 志 为 阶梯 的 
(step) ,如 存在 了 一 [ae ,的 的 有 穷 分 割 ;a 二 < 之 … <#, 二 上 ,使 
在 每 个 拓 汉 .中 中 艺 一 c( 常 数 ) ,而 ,存在 (在 st 分别 只 有 有 、 
左 极限 ) 且 不 等 ,而 zx, 等 于 其 中 之 一 . 上 述 二 ,i 二 1,2,0 yn 称 为 7 
的 跳跃 点 Cjump point). 称 清 数 z(2),t:E[a,5] 是 几乎 阶梯 的 
(almost step) ,如 除去 [4a,8j 上 有 穷 多 个 点 外 , 它 是 阶梯 的 . 

定理 21. 4.5 设 7r 为 可 分 实 正 态 ,T= 二 [a,8] 月 mm(4) 一 EX, 
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连续 , |TG 一 (Gs) | 六 ec |i 一 s 1, 其 中 人 宇 0,8 守 0, 则 Xr7 样本 珊 
数 以 概率 1 均匀 连续 . 

定义 21.4.6 和 陈 困 数 restc ec 为 阶梯 的 [几乎 阶梯 的 ] ,如 
存在 六 fo 使 在 每 个 Leoe>a) 中 为 阶梯 的 [几乎 阶梯 的 ]. 

定义 21.4.7 设 T=[La,00) 或 [4a,8]. 如 存在 概率 为 零 的 集 
N ,使 对 每 w 筷 六 ,样本 函数 无 (w),t€ET 为 阶梯 的 [几乎 阶梯 的 ] 
称 过 程 久 , 的 样本 函数 以 概率 1 为 阶梯 的 Cstep function with 
probability 1)[ 几 乎 阶梯 的 (almost step with brobabiiity 1)j. 

定理 21. 4.8 设 可 分 ,一 [La .站 ,月 3c20 使 P(X, 郑 
ei- ba, 则 Xi 的 样本 函数 以 概率 1 为 阶 
梯 的 ， 

定理 21.4.9 设 蕊 可 分 ,了 = [a, 相 , 且 了 3 c 实 0 使 本 中 任意 
有 限 点 列 志 cc < 都 有 了 人; .PUX ,并 站 所 <. 则 此 过 程 
的 样本 郑 数 以 概率 1 是 几乎 阶梯 的 ,如 又 设 X7 完全 可 分 , 则 样本 
函数 以 概率 1 是 阶梯 的 . 


21.5 过程 的 可 测 性 


在 过 程 的 定义 中 .要 求 对 六 定 的 +:€T,X.tw) 是 也 可 测 的 ( 即 

是 随机 变量 ), 却 对 国定 "E 吕 ,其 样本 函数 XC，'o)，，E 了 尚 没 
规定 可 测 性 . 为 考 感 对 样本 函数 对 上 的 积分 ,引入 过 程 可 测 性 . 

设 工 =[4, 妇 或 [0,00) ,37 为 了 中 全 体 Borel 集 所 成 的 o 代 

数 , 工 表 寺 : 上 的 Lebesque 测度 ,而 党 *X 受 表 直 积 a 代数 部 7 x 
.FZ 甘于 测度 y= 二 LXP 的 完备 化 . . 

定义 21.5.1 称 (0, 多 ) 上 过 程 Xr 为 可 测 的 (measurable ) 


如 
{0 NAW EE TouE DE BX FAYE Rs 


* 452* 


称 Xz 为 博 雷 尔 可 测 的 ,如 上 式 右 方 可 他 为 .237 X 多 

定理 21. 5.2 

《1) 随机 连续 过 程 必 有 完全 可 分 且 可 测 的 修正 . 

(2) 博 雷 尔 可 测 过 程 的 所 有 和 矩 函 数 都 是 博 当 尔 函 

(3) 至 多 有 可 列 个 间断 点 的 过 程 , 必 有 博 雷 尔 可 出 们 二 

在 马尔 可 卖 过 程 论 中 尚 需要 更 强 的 可 测 性 ， 

定义 21.5.3 如 对 任意 妃 E 汤 r [ao]CT 有 1 人 ost 
vB) CX. 称 这 程 Xr 为 强 可 测 的 
(strong measurable). 其 中 -人 近 一 (oasaso) ,可 理解 为 在 
时 段 La,vj 内 ,过程 运 动 中 所 发 生 的 事件 所 生成 的 og 代数 ， 

定理 31. 5.4 布 连 续 过 程 是 博 雷 尔 可 测 的 ,县 是 强 可 测 的 . 

法 国 Strasbourg 学 派 在 随机 过 程 一 般 理 论 中 把 过 程 看 成 二 
元 函数 ,由 此 区 分 一 些 特殊 的 二 元 可 测 类 . 它们 在 随机 积分 理论 中 
起 重要 作用 . 

定义 21.5.5 没 (多 ) 为 (0 儿 》 上 参考 族 , 了 一 [0,cc) .如 Yi 
人 010 ooE 人 是 . 殉 ,X355000 可 测 . 刚 称 于 为 ( 安 ) 特 
序 过 程 (progressive process). 又 记 人 3 二 {A;:EE [1 为 
4. 实 ,) 循 序 过 程 }. 

三 一 oa( 右 连续 且 有 左 连 续 的 (. 多 ,) 适 应 过 程 )， 

人 @' 一 上 和 ( 右 连续 (天 ,适应 过 程 ). 

信 二 g( 左 连续 (7,) 适 应 过 程 ). 

ca ” 一 (在 连续 县 有 右 极 限 的 4 多 ,适应 过 程 》. 
“一 5 连续 ( 光 ,) 适 应 过 程 )， 

称 辣 [他 安 ] 为 人 8) 衢 序 [可 选 (Coplional), 可 和 料 
《predictable) ]c 代数 . 称 Xr 为 (2,) 可 选 [可 料 : 过 程 ,加 Xy 为 
2[ 2] 可 测 . 

它们 之 间 有 下 列 闫 系 ， 

CB 故 可 料 必 可 选 , 可 选 必 循序 ; 字 一 
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2 
设 (多 四) 为 参考 族 ,Xr 为 (到 适应 的 博 肖 尔 可 测 过 程 , 则 必 
存在 一 个 (多 ,) 可 选修 正 ， 


21.6 马尔 可 夫 过 程 中 的 算 子 理论 


马尔 可 去 过程 的 研究 有 两 种 类 型 问题 . 一 是 用 证 晒 分 析 中 算 
子 半 群 理 论 来 研究 过 程 的 一 个 重要 特征 ,转移 概率 ; 另 一 是 研究 过 
程 本 身 , 例 如 它 的 样本 函数 , 后 者 主要 工作 在 中 上 进行 ,主要 工具 
是 测度 论 ,将 在 第 24 章 中 介绍 ， 


21. 6. 1 转移 概率 算 子 半 群 


设 忒 = (7 >o 为 一 齐 次 马尔 可 去 过 程 , 儿 是 其 相 空间 EE 上 的 
一 个 代数 . PG,zx: 攻 ) 为 的 转移 概率 ,; 即 Pti,z,T) 一 P(X,E 
| 及 一) 全 P(XET) TE 和 B, 记 B(E) 为 上 一 切 有 界 客 一 
可 测 函 数 的 巴 拿 丙 空间 . 令 | 了 上 一 sa |7 (x) | 为 fE BCE) 的 范 
数 . 并 在 BC(E) 上 定义 算 子 TT,: 

Tf{x) = | ropPezrd， rEE, fEBE), 

算 子 性 质 21. 6. 1 TT,t 详 0 的 性 质 

(01) 对 任意 1 宇 0,T 了 ,是 BCE) 到 B(E} 的 有 界线 性 算 子 , 且 
7 als 

(2) 对 一 切 y 20, 有 了 -一 了 Te; 

(3) 如 对 一 切 xEE 有 f(z) 室 0, 则 对 -一切 zxEE 和 :之 0 有 
T f(T) 0; 

(4) 如 (xe) 一 0; 则 T(z} 二 0; 

C5) 如 对 一 - 切 x€E Elimf (Tr) f(r), EE BUE) ' 且 
sup | /| oo, 则 limT f(r) TF), 
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定义 21.6.2 你 满足 (21.6.1(1)) 和 (21.6.1(2)) 的 算 于 艇 
(fcau 为 压缩 算 子 半 群 (contracrion semigroup of operators) 
C21. 6. 1(2)) 的 证 明 用 到 齐 次 转移 概率 科 尔 葛 龙 罗 夫 - 查 普 曼 
《下 olmogorov-Chaphaany) 启程 . 
Pl 十 szyP) = | Psy TPG, rdy). 
五 


作用 于 BE) 并 满足 性 质 21. 6. 1 的 任何 压缩 算 子 半 群 ,都 产 
生 齐 次 转移 概率 , 自 PCtyzyP) 一 Tcz) ,这 里 五 (。) 为 集 卫 的 
示 性 晒 数 .这 样 对 齐 次 杞 氏 过 程 的 研究 可 利用 半 群 理论 ， 
21.6.2 无 穷 小 算 子 

定义 21.63 设 ( 下 ,到 ) 为 某 可 测 空间 , (T,)>。 为 作用 于 
召 ( 五 ) 中 的 压缩 算 子 半 群 .由 公式 Af 一 g 决定 的 算 子 4 称 为 半 群 
了, 的 无 穷 小 算 子 (infinitesimal operator) , 若 
_TA-—f 

上 


[= 0， 


tim | EF 
[0 . 


4 的 定义 域 为 D4 一 {/:€ BC(E), 且 对 zE EE -- 致 存在 lim 二 人， 
fm) fF E BE)) 

性 质 21. 6.4 无 穷 小 算 子 性 质 ， 

C1) 集 Du 依 范 数 收 化 ( 称 强 收 敛 ) 意 义 下 的 闭 包 与 集 
BilE)A{fF: EE B CE) 有 lim | Tf 一 了 二 0; 重合 ;此 处 
| g | =suple Cr). 

(2 如 ED 则 4Ae BE) TF f= | 了 ayas 


《3) 如 ED; 刚 TF 对 tt 宇 0 强 可 微 ， Y= AT.f= 


TAf ;这 里 强 可 微 是 指 强 收 钱 意义 下 可 微 . 
(4) 算 子 A 封闭 . 


21. 6.3 用 算 子 4 定义 扩散 过 程 


定义 21.6.5 设 aizy) 为 相 空 间 ( 刁 , 鹏 ) 中 的 齐 次 转移 慨 
率 ,由 性 质 21. 6. 1 产生 作用 于 瑟瑟) 的 算 子 半 群 (Tizo* 此 半 群 
由 定 广 21. 6.3 定义 无 穷 小 算 子 . 称 此 4 为 转移 概率 ptt,x, 门 的 
无 穷 小 算 子 . 

由 定义 21. 6.3 知 


Aflx) = lim 二 [| FlyIplt dy) 一 flz) |， 
于 下 而 2 EE 


旦 当 此 极限 关于 xEE 一 到 存在 时 ,FE Da. 

定义 21.6.6 如 对 每 zEE 及 zz 的 任 一 邻 域 U 有 limpti,z， 
如 = 二 1, 则 称 转移 概率 为 随机 连续 . 

拓扑 相 空 间 中 任 一 随机 连续 转移 概率 都 唯一 决定 于 自己 的 无 
穷 小 算 子 . 

定义 21.6.7 设 五 为 拓扑 空间 , 光 为 其 博 雷 尔 集 的 o 代数 . 
如 对 一 切 t 汪 0 和 了 ECItE) 人 和 全 {f:E 上 有 界 连 续 实 消 数 } ,成 立 


人 rezy = | pledy)f 69) E CE), 


则 称 齐 次 pt;x, 厂 ) ,了 TE 3 为 贰 勒 转 称 概 率 . 有 此 转移 概率 的 马 
尔 可 夫 过 程 称 为 绵 勒 过 程 (Feiler process )， 

定理 21. 6.8 如 满足 第 一 可 数 公 理 , 则 随机 连续 的 费 勒 转移 
概率 的 CCE) 上 的 无 穿 小 算 子 唯一 决定 转移 概率 . 

性 质 21. 6.9 ”对 紧 致 集 E 上 的 右 连 续费 勒 过 程 ,有 如 下 
结论 : 

C1) 它 必 是 强 马 尔 可 夫 过 程 { 风 定义 24. 3. 5); 

人 2) 设 4 是 其 无 穷 小 算 子 ,fE Da; 则 对 一 切 t 汪 90,xEE 有 


Ef UR) — fx) = E.| AfCX ds 
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《3) 对 任 一 马尔 可 去 时 间 ( 见 定 尽 24. 3. 4)r, 当 五 ,r<cc 时 ， 
让 
Ef (KR) ~ f(x) = 已 | 47Cxodsi 


那 肯 会 式 ( 工 nan formula) 
定义 21.6.10 对 固定 xEE, 令 十 是 xz 的 邻 域 U0 的 首 中 时 
Chitting time}), BU, 4 {x}. 
会 {f :EC(E), 且 使 fr OmL Ef CX FOR) NE 
存在 } 
Dz 会 门廊, 则 当 /E Dw 时 对 一 切 xEE,B1(xz) 有 定义 ， 


称 算 子 人 为 过 程 环 的 特征 算 子 Ccharacteristic operator). 

定理 21.6.11 半 紧 致 (semi-compact) 严 上 右 连 续 Felier 过 
程 的 特征 算 了 于 是 它 在 CtE) 上 无 穷 小 算 了 于 的 扩张 :Ds 二 Ds, 且 当 
FEDaAA r= (xr) rEE. 

性 质 21. 5.12 连续 费 勒 计 程 的 特征 算 子 的 性 质 

(1) 局 部 性 ;在 x 某 邻 址 内 Cx) 二 f(r) 则 太一 
f(x) ,有 妈 全 f(xo) 的 值 只 依赖 fx) 在 zx, 任 一 邻 域 中 的 值 ; 

(2) 线性 

《3) 非 负 定性 :如 A(x) 在 x。 达到 相对 极 小 ( 即 对 zx 的 某 邻 域 
Ur fF ECD), NM flr) 20; 

《4) 补 圆 性 :人 是 儿 交 二 阶 椭 贺 型 微分 算 子 的 一 般 化 .具体 
说 , 若 在 Ui 内 对 连续 函数 9 及 Y 有 定义 ,三 在 % 邻 域 连续 二 
次 可 徽 ,一 P(zo), 则 在 点 xs 上 对 /( 久 有 定义 , 且 
df 1 df 
do 2 dy 
其 中 a= 名 (Cp 一 B66 二 让 一 p(xn), 特 别 可 取 


-™ 


f(D = a b>0 
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22 ”二 阶 矩 过 程 
22. 1 定义 与 例 


22. 1. 1 引言 与 定 浆 


二 阶 矩 过 程 是 一 类 重要 的 随机 过 程 ,在 物理 学 ,生物 学 ,通讯 
与 控 程 、 系 统 工程 与 管理 科学 等 方面 ,都 有 广泛 的 应 用 ， 

随机 过程 的 概率 性 质 由 它 的 分 布 函 数 族 完全 决定 ,但 在 实际 
问题 里 ,要 求 出 它们 是 十 分 困难 的 . 由 统计 方法 得 到 过 程 的 一 阶 和 
二 阶 定 ,还 是 可 能 的 . 对 那些 二 阶 怎 存 在 的 过 程 来 说 ,通过 二 阶 矩 
《主要 是 协 方差 函数 ) 的 研究 可 以 对 该 过 程 的 特性 获得 了 解 . 在 不 
少 实 际 间 题 里 ,这 些 了 解 就 足够 了 . 更 何况 要 对 某 些 过 程 ,如 正 态 
过 程 . 一 .二 阶 矩 就 能 完全 确定 有 限 维 分 布 . 

最 常 遇 到 的 二 阶 惩 过 程 , 有 正 态 过 程 ( 宽 ) 平 稳 过 程 . 一 天 类 
独立 增 量 过 程 ,以 及 正 交 增 量 过 程 . 

定义 22.1.1 如 过 程 久 7 二 {XX,,tET} 对 每 个 :ET,XX, 的 方 
差 都 存在 , 则 称 它 是 二 阶 矩 过 程 . 

由 第 的 性 质 :高 阶 答 存 在 则 低 阶 定 一 定 存在 及 柯 西 - 施 下 普 不 
等 式 可 知 , 二 阶 乍 过 程 的 均值 函数 与 协 方差 图 数 都 存在 . 

如 Xr 是 二 阶 秆 过 程 ,; 令 蚁 二 六 ,一 m(f);tET, 则 货 7r 一 {这 ,， 
tiET} 也 是 二 阶 上 托 过 程 , 且 其 列 值 函数 恒 为 0. 因此 ,今后 一 般 总 设 
二 阶 矩 过程 为 零 均值 的 ， 


22.1.2 创 


例 22.1.2 人 有余 芍 波 过 程 Kcosine wave process) 下 一 过 程 称 
“5 


为 余 嘴 玻 过 程 , 它 是 :个 一 阶 矩 过 程 . 
XX, 二 Acos(wt 十 了 站， ff 宇 0， 
其 中 振幅 4 与 角 频 率 w 到 常数 ,相位 口 是 一 个 在 (一 xx 由 
的 均匀 分 布 的 随机 变量 . 
解 EiX = Acosoe 十 四 de 二 下 ,Ye >0, 玖 天 
EX, = | Acoscer 十 ay 训 de 二 0， 从 而 


Tt = EX,X, 一 | szceosfeag 十 alcos{wt 十 人) > de 


一 全 4tcosmwts — £)} 


它 只 与 时 间 差 :一 : 有 关 , 此 过 程 也 是 平稳 过 程 . 

例 22.1.3 设 因 ,一 六 ,十 Visa 所 ?所 6, 其 中 Xs, 与 WV 独立 且 同 
分 布 NC;1), 则 此 过 程 是 二 阶 矩 这 程 , 事实 上 由 正 态 分 布 性 质 ， 
(X,Y) 是 二 元 正 态 分 布 的 充 要 条 件 为 对 任 一 非 平 凡 的 线性 组 合 
aX 十 BY 是 一 污 正 态 的 . 知 站 , 是 正 态 变量 ,下 方差 存在 ;从 而 是 二 
阶 算 过 程 , 易 得 mw(f) 二 0,T(s;1) 一 EX,X, 一 1 二 st, 它 不 是 平稳 


22. 2 二 阶 矩 过 程 的 性 质 
22. 2.1 协 方差 函数 性 质 


性 质 22. 2.1 二 阶 矩 过 程 协 方差 函数 性 质 
(1) 复 对 称 性 或 玛 尔 米 特 (Hermit) 性 ;TGs ,2 二 TGs) ,st 
T. 如 过 程 是 实 的 ,此 即 普 道 移 对 称 性 . 
(2) 非 负 定性 ;对 任意 有 限 个 ,i:,… ,trET 和 全 上 的 兰 通 
复 值 冰 数 28, 有 
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> DI rns ys) G1) 之 0， 


= 


注 22.2.2 由 非 负 定性 可 推出 埃 尔 米 特性 , 可 见 非 负 定性 是 
协 方差 画 数 的 本 质 特 性 ， 

定理 22.2.3 已 知 TxT 上 非 负 定 函数 TT(s;t),; 则 一 定 存 在 
二 阶 矩 过 程 X= {XX,,tET} (事实 上 还 可 以 是 止 态 过 程 ) ,使 其 协 
方差 函数 就 是 Gs ,0). 若 了 了 (3,) 是 沾 XxXT 上 实 函 数 , 则 相应 的 Xx 
也 是 实 的 . 

定理 22.2.4 己 知 全 上 函数 mt) 及 TXT 上 非 旬 是 数 了 Cs， 
t), 则 存在 唯一 的 有 限 维 分 布 族 ,使 其 为 正 态 这 程 的 有 限 维 分 
布 族 . 


22. 2. 2 二 阶 矩 随机 变量 空间 


1. 五 空间 的 构成 与 赋 范 

定义 22.2.5 同一 概率 空间 (2,. 祁 ,Py 上 的 具有 穷 二 阶 矩 的 
随机 变量 所 组 成 的 空间 , 称 为 一 阶 矩 随机 变量 空间 ,简称 二 阶 矩 空 
间 (second order space), 记 为 五 . 

定理 22. 2.6 HH 是 线性 空间 ;如 基 ,E 玉 ,ei 一 const. 《可 为 复 


性 


值 )， 一 1m, 则 > eX EH 

定理 22, 2.7 对 任意 六 ,YEBH, 令 (X,Y) 一 EXY, 则 (X,Y) 
为 号 中 的 内 积 ; 即 如 X,Y X,YENH ,i 二 1,2; 则 

Cl) CX ,EO0,N—=0la. ee 有》 一口? 

(2) 复 对 称 性 : (Y ,XX) 二 (X,Y 了): 

(3) 复线 性 : (ci 十 cy) 一 eC 人 1 了 ) 十 ca (XssY) 

(KcYite Ye) = (KY) te (RY). 

定理 22.2.8 对 每 XE 令 Xl 二 (X,X)( 二 EIXI ), 则 
1 革 和 是 吾 中 范 数 (norm); 即 如 尺 ) ,区 ;, 六 人 再 ; 则 

(C1) 上 玉宇 90; 了 =00a.e.) 仿 上 基 ‖ 一 0 
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(2) ic 基业 二 | 关上， 

(3) | 已: 十 下 大 | 有 | 十 站 苇 : 外 ， 

综 上 可 知 ,2 为 线性 赋 范 空间 和 有 内 积 的 线性 空间 . 

2. 室 间 厅 的 均 方 收复 与 完备 性 

定理 22.2.9 对 任 久 ,YEH, 令 dX,Y)= 多 一 了 | , 则 
Q(X 是 五 中 的 距离 , 即 对 ,了 ,ZEH， 

(1) 非 负 与 零 性 质 ,dX ,YO0; XX 一 Y(a. e. J)OdCX ,Y= 0. 

《2) 对称 性 ,a 六,Y) 一 (YF , 龙 ). 

(3) 三角 不 等 式 ;d(X,2)d(X ,YAY .2); 

定义 22.2.10 设 X 久 EE, 如 dX,,XI>0Cn 王 00), 则 称 
六 ; 均 方 收 襄 (mmean squane convergence) 于 天 记 1imX, 一 总 ,如 
{XITCH ,dK Xo 004m20), 则 称 {XX,}) 为 均 方 基本 列 或 
均 方 柯 西 询 ， 

3. 均 方 收 钱 的 性 质 

均 方 收 僵 必 为 售 构 率 收 伍 , 但 反之 不 真 .但 如 |X,|<YE 有， 
则 由 X, 使 概率 收 敏 可 推出 均 方 收效 ， 

性 质 22, 2. 11 均 方 收 误 性 的 几 个 基本 结论 : 

设 Y YX EH nl li mR,= i mY, = 了 ,出 

(C1) limEX,.=EX=E(,1. MmX,). 

{2) limE|X,|:=E|X|:. 

《3) Him (X,Y ) = (X,Y) : 即 lim EX.Y,— EXY, 

(Cd) limaX,+hY,) =a ,YY abtER. 

(5) 均 方 极限 唯一 ;如 又 有 1i.mX, 二 了 , 则 了 = 二 Y (a,e.,). 

定理 32. 2.12{ 均 方 收 人 印 和 的 柯 西 淮 则 《Cauchy criterion for 
mean square tonvergence) 1 古人 五 ) 均 左 收 黎 的 充 要 茶 件 是 
lim ElX,—X,| 一 0， 

定理 22. 2.13 完备 性 设 ! 瑟 为 五 中 均 方 基本 列 , 则 了 XX 
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EE 日 ,使 Li.mX, 一 .从 而 瑟 为 巴 拿 赫 空间 (完备 的 线性 同 范 空 
: 间 }); 也 是 希 尔 伯 特 空间 (完备 的 内 积 空间) 

定理 22. 2. 14 均 方 收 伍 准则 或 洛 也 去 准则 (Logve eriterion ) 
设 XX,,XE 理 , 则 1,i,mX, 一 XX 的 充 要 条 件 是 lim EE(X。, Xm) 一 
lim(X。,Xo) 一 c( 常 数 ), 此 时 有 c= 六“ 

定理 22.2.15 设计 EF.i.mX, 一 外,f(w) 是 一 确定 的 
函数 , 设 FCXo ,ACE 五 ,上 且 满足 利 普 希 藻 (Lipschitz) 条 件 : 存 
在 常数 对 ,使 | fl) 一 了 | 和 MIu 一 v0|, 则 Li mfCX,.)== 了 (XY). 

推论 22. 2.16 车 f(a) 和 fCw) 都 存在 且 有 界 ,1.i. mX, 一 XX， 
Wi mf RYAN). 

若 1.i. mX, 二 站 , 则 对 任意 有 限 的 1, 有 1.i.m exp {itX.} 二 
exp {证 区 } ,从 而 县 , 欧 特 征 函数 收 僵 于 下 的 特征 函数 ;相应 有 分 布 
疯 数 的 收 钱 性 . 

定理 22. 2. 17 均 方 收敛 的 太 数 定理 设 1X) 为 互 中 独立 同 


分 布 的 点 列 (随机 变量 列 ), 则 1i.m SIX; 一 a 一 EX, 


22. 2. 3 ”过 程 的 随机 分 析 性 质 


.二 阶 矩 过 程 7 二 {六 ,ET) ,对 每 :ET 本 ,XE 瑟 , 故 关 7 为 空 
闻 互 中 一 个 曲线 (如 工 连续 ) 或 一 个 点 列 ( 如 工商 散 ). 本 段 对 了 
CR, 且 连续 的 二 阶 矩 过 程 ,进一步 讨论 其 均 方 收 全 意义 下 的 连续 
性 ,可 微 性 与 可 积 性 ,并 用 均 方 差 浮 数 的 表现 给 出 判别 准则 . 
定义 22. 2.18 称 XrCH 在 t€T 均 方 连续 的 (mean square 
continuous) ,如 1.i,mX, 一 Xi; 如 对 Y 1ET 了 T,X, 在 1 均 方 连续 , 则 
称 ,为 均 方 连续 . . 
定理 22.2.19 均 方 连续 准则 (mean square continuity 
criterion》 人 区 7 (CC 如 ) 在 ET 均 方 连续 优 X 的 协 方差 函数 
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G5; 和 在 ltoyto) 连 续 ， 

又 :Ps 在 了 X 了 连续 的 充 要 条 件 是 它 在 Gt:ET 连续 . 

定 光 22.2.20 称 和 所 互 在 态 E 工 均 方 可 微 (imnean square 
differentiable) ,如 im 庆 (Xt 一 XX ) 公 X!/ 存 在 . 如 Xr 在 每 
ET 为 均 方 可 微 , 则 称 7 一 次 均 方 可 徽 ,特此 可 定 交 二 次 均 方 可 

定理 22. 2.21 均 方 可 微 准 则 {mean square differentiability 
criterion ) Xr(CC 玉 ) 在 (全 了 了) 拘 方 可 微 兮 Xr 的 协 方差 请 数 
了 Pt 在 (fast 广义 二 次 可 微 , 即 下 面 的 均 方 极限 存在 : 

lim 7CPG 十 ht 十 ha") 
Tt A — Trts + RY TOUoto)] (22.1) 

定理 22. 2. 22 如 Ts,4) 的 一 阶 偏 导 存 在 ,了 -存在 且 连 续 ， 
则 了 6 在 必 鸭 广 尺 二 次 可 徽 , 即 以 * 十 上 和 上 十 下 分 别 换 522.1) 
式 中 的 如 十 有 和 如 十 r, 所 得 的 均 方 极限 邦 在 . 反之 则 2 ,2 ， 


3 1 PC aR 

ds 和 郊区 存在 ， 且 EX X, = EE » EFEX, = a » 
rr Tst) ols,f) 

EX, X= dsat aras 


定 光 22. 2.23 均 方 可 积 (mean square integrable) 设 筷 扣 
互 , 了 (1f) 为 了 二 [a,5b] 上 普通 函数 ,了 的 一 组 分 点 :4 一 碳 二 二 拉 人 拉 
名 一 久生 一 maxt4 一 站 -1 作 和 

YY, 二 Df CX, Cte ti Ui [4s_1s84 
Pe 


由 定理 22. 2. 6;7,E 如 ,如 4A,>0 时 YY, 均 方 收 化 , 且 其 极限 与 了 
的 分 割 无 关 , 则 称 /(2)X, 在 [a,6] 上 歼 曼 均 方 可 积 . 极限 记 为 


b 
cms) FN Kdt. 
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f(DX, 在 T = [avco) 上 (Riemann) 均 方 积分 (DXidt 定 
义 为 lim fCDXidr, 如 /CDX, 在 [4,6] 均 方 可 积 , 且 其 积分 的 均 


方 极限 存在 . 
定理 22. 2. 24 均 方 可 积 准 出 (m. s. integrability criterion》 
设 KIC 恕 ;TGs,#) 为 其 协 方 差 函 数 , 则 FDX, 在 Las5 1 均 方 可 积 


污 普 通 积分 | 了 UDICs yf)dsdt 存在 ,此 时 


E[ f(xXid 一 | rooaxade， 


E | [ fID Kd | “一 | es FT Cs ,tydsdt. 

可 证 相应 于 分 析 中 的 结论 (连续 ,可 微 , 可 积 间 的 关系 与 性 质 ) 
均 成 立 .例如 当 X, 在 [a 如 均 方 连 续 , 则 Y, 全 (ms)| Xds 在 [a 如] 
玖 方 连续 、 均 方 可 微 , 且 了 一 让 

应 用 22. 2.25 直线 上 的 布朗 运动 (Brown motion on a line) 
设 直线 土 某 点 受 其 它 质 点 碰撞 而 运动 ,其 到 时 刻 t 所 受 的 碰 醒 次 
数 和 NG) 为 一 强度 为 x 的 泊 松 过 程 . 义 设 质 点 每 受 一 次 碰撞 和 将 只 改 
变 运 动 方向 , 即 速度 反 向 ,为 常数 土 v, 以 VY, 表示: 时 速度 , 则 


0 Tt 
VW, 一 Vot Ce DD, Vo ~ 1 1 " 
2 2 


又 了 (5,0) 一 Rv (swf) 二 Vie I , 它 是 零 均 值 平 稳 过 程 . 以 X, 表 
示 此 质点 到 时 刻 + 在 直线 上 的 总 位 移 , 则 X, = | .ds 之 0. 由 定 
理 22. 2.24 有 
El|X,|’ = | gvevv edna, 
= 2 da [dis twee 0} 
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村 
一 2 一 工 十 2) 


， ? v1, 
特别 ,imE|X.| /=z lim FEIX lv. 


22. 3 ” 几 类 重要 的 二 阶 和 矩 过 程 


正 态 过 程 ( 宽 ) 平 稳 过 程 . 二 阶 官 独立 增 量 过 程 及 正 变 增 大 过 
程 ,是 二 阶 矩 过程 最 重要 的 子 类 ， 
22. 3- 1 正 态 过 程 

定 光 22.3.1 设 Xr 的 任 一 有 限 维 分 布 羡 数 静 是 多 维 正 态 分 
布 , 则 称 Xr 为 正 态 过 程 (normal brocess) 或 高 斯 过 程 ， 

例 22.3.2 设 X 和 rr 一 fceos 共 十 geing os 1 ,其 中 5 独立 日 


同 N(0,a9 分 布 ,g 为 常数 , 由 定义 21. 2. 2 后 所 指出 的 正 态 分 布 的 
性 质 ; CX ,天 Xe ) 为 站 维 正 态 分 布 的 充 要 条 件 是 对 任意 不 全 


为 0 的 实数 aj,，…, a,， 和 Vax, 一 ( Dascosbe,]¢ 十 


{ asinr] 9 是 一 元 正 态 的 . 由 于 《与 了 独立 旧 正 态 ,故人 ,了 ) 为 
二 元 正 态 ,从 而 5 与 了 的 线性 和 是 一 元 正 态 的 , 即 此 条 件 满足 
易 求 得 此 过 程 ( 有 随机 振幅 的 随机 振动 过 程 ) 的 均值 函数 为 


0 ,而 
st = ocosdts 一 的 ， 


它 只 与 * 一 +: 有关, 由 定义 22. 3.3 知 其 还 是 平稳 过 程 . 
正 态 过 程 的 进一步 讨论 见 (22. 4). 
22. 3. 2 〈 宽 ) 平 稳 过 程 


定义 22.3.3 设 和 rr 为 二 阶 矩 过程, 且 天 人 一 天 (常数 )， 
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Ps,6) 只 与 s 一 :有关 而 与 yz 本 身 值 无 关 , 则 称 Xz 为 ( 宽 ) 平 稳 过 
程 (stationary process in wide sense), 也 称 弱 平衡 过 程 简称 平稳 
过 程 . 

例 22. 3.2 是 ( 宽 ) 平 稳 过 程 的 例子 , 再 看 下 例 . 

例 22.3.4 随机 电报 信号 (random telegraph signal) 设 
了 二 [0,00) ,过 程 Xr 满足 

《1) 任 一 时 刻 必 实 0),X, 取 值 一 1 或 1, 且 取 此 两 值 为 等 可 能 ， 


一 1 | 
凤 X~ i 工 和 
2 了 | 


《2) 在 C0,tj 时 段 内 Xz 变 值 的 次 数 Ni 空 0, 有 参数 为 双 的 
泊 松 分 布 , 即 


pON, =) = Hen 


kt 人 和 A0, £0, 下 一 站 12 


《3) 初 值 X, 与 N, 独立 . 

则 称 式 . 为 随机 电报 信和 号 . 

可 写 及 ,一 并 ,一 1 ys (CX, ,这 , ) 的 特征 蚂 数 Eexp Ui (CA 十 
Hae, yy — 的 十 7 Pu 十 ei P [1 十 让 让 和 一 2) P _: 
十 em 9P_i11 其 中 Pi 一 POX 一 记 ,X 一 门 , 易 算得 ( 设 志 这 二 ) 


Pu=POX。 一 1;N, 一 NN, 一 个 数 ) 一 广 PCN。 一 NN, 一 偶数 ). 而 
PP- 一 站 ,一 P_， 一 疙 ,其 由 a 二 PCN, 一 NN 一 偶数 ) ,P=1 
一 &. 于 是 前 述 特征 消 数 等 于 

cos(pt pa)atcosta— p=cospcost — Coa— Fsingsin pe 


mo 


= COsFiIcOSAta 一 sinpasinpes >) 《一 PN 一 六 一 7 


一 cosJAacDsje 一 Sinsinpzexp( 一 2AKta 一 后 ))， 
由 特 证 函数 与 抢 的 关系 及 EX, 一 EX 一 0, 知 了 (ft15t2) 二 EX 
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el, 协 广 差 存在 , 且 知 此 过 程 是 ( 宽 ) 平 稳 的 . 
平稳 过 程 的 进一步 讨论 见 第 23 章 . 


22. 3. 3 ”二 阶 矩 独立 增 量 过 程 


定义 22.3.5 设 廊 ,为 随机 过 程 ,T==[0,c0). 如 对 任意 有 限 
个 03 和: 增 量 夺 一 基 ， 碟 一 Xe 一 天 相 末 
独立 , 则 称 和 r 为 独立 增 量 过 程 (independent increment brocess )， 

独立 增 量 过 程 并 没有 规定 二 阶 矩 存在 , 二 阶 什 存在 的 独立 增 
量 过 程 是 用 得 最 多 也 最 重要 的 子 类 , 像 泊 松 过 程 .布朗 运动 过 程 
( 详 见 第 27 章 和 第 26 章 ). 

如 定义 22, 3.5 中 规定 过 程 有 灾 初 值 ,Xo 王 0 或 规定 XX, ,区 
一 X,。,…，X。 一 所 相互 独 立 , 则 利用 例 21. 2. 4 知 它 一 定 是 马尔 
可 去 过 程 ( 详 见 第 24 章 ). 

对 了 CR) 离散 时 ,可 仿 定 义 22. 3.5 定义 独立 增 量 过 程 ， 


22. 3. 4 正 变 增 量 过 程 


定义 22.3.6 设 了 =[0,so),Xr 为 二 阶 定 过 程 , 且 对 
YY 0 一 有 一 0, 则 称 六 , 为 正 交 增 
量 过 程 (orthogonal increment Process )， 

如 荆 =[as81, 目 规定 六 ,二 上 网 联 二 ==ayts 二 ;一 $1 一 t 时 正 
交 增 量 过 程 Xr 有 

EX, (X, 一 KR) = 0, s<t, 
大 而 EX 一 玉 | 六 ,| 会 9), 此 时 TGs 2) 一 Fs). 
| 一 般 地 工 (3 ,四 一 FG 大和 ,其 中 AtAmin{s,t}. 
可 见 它 不 是 宽 平 稳 过 程 , 当 s<z 时 
EIX,— X= TG — TGs) — Tlsst} t+ Ts,s) 
= F(t — F(s), 
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故 F(t) 是 单调 不 碱 函 数 . 
零 均 值 .二 阶 矩 独立 增 莉 过 程 ,是正 交 增 量 过 程 . 


22. 4 正 态 过 程 及 其 应 用 


高 斯 过 程 或 正 态 过 程 Xr 的 均值 数 和 协 方差 通 数 也 (的 二 
天 {X.X) 可 以 完全 决定 它 的 有 限 维 分 布 ,从 而 不 仅 可 以 在 二 阶 算 
的 范围 内 ,而 且 可 以 在 分 布 的 范围 内 讨论 各 种 问题 ,得 到 不 少 更 强 
的 结果 ， 

顺便 指出 ,本 节 将 稻 定 所 研究 的 正 态 过 程 都 是 实 正 态 过 程 . 如 
果 所 给 的 随机 过 程 是 一 复 正 态 过 程 , 则 类 但 地 可 以 得 到 相应 的 


22. 4. 1 正 访 过 程 的 有 限 维 分 布 


对 正 态 过 程 {X,,tET} 任 选 1 个 时 刻 ( 理 解 了 为 时 间 集 )i(x 
也 是 任意 的 正 整 数 ) ,得 到 个 相应 的 随机 变量 ,Xi 二 1,…,n. 它 
们 的 联合 分 布 密度 为 

定义 22. 4.1 联合 分 布 密度 


CT 一 1 加 1 TeX 
[oe 


其 中 X= Cr 3 ;Te p= Cp, AP ER =E(r), 


Pp 2 (TB (re) 


i=1,2, on. 
BB 为 ;的 协 方差 矩阵 ,为 正定 的 , 它 的 元 素 为 
区 一 E{(X, — HX, — pa)} 
= Rxttist)) 一 as 

这 里 只 xi 门 为 目 相 关 函 数 ， 

”如 果 {XE7T 了 ) 为 ( 宽 ) 平 稳 的 高 斯 过 程 , 则 ,一 上 二 常数 ， 
Rxftast) 一 RxCGa 一 上 总 ), 即 均值 为 常数 ,相关 函数 (或 协 方差 函数 ) 
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仅 与 时 间 差 直人 有 基 ,而 不 再 单独 依 吾 于 ts 和 六 本 身 . 
记 b= Ry Ct-ti pt 此 时 nn 元 随机 向 喇 (X,， 
"的 概率 窗 度 fx 所 对 应 的 特征 妙 数 为 
公式 22.4.2 Da sr 站 
一 exp{i S A > Do — cut). 


pe ?= 


如 果 把 = 个 者 术 和 询问 时 作 平移， 邮 摘 冬 时 刻 十 和，…， 
加 十 上 , 则 于 移 后 的 二 元 随 耕 向 量 的 概 次 密度 所 对 应 的 特征 丽 数 为 
十 [十 下 十) 
=exp| mx 1 > bt — tu | 


£=] 1=| 


ec ee 
因为 分 布 函 数 由 其 特征 函数 唯 -确定 , 故 有 
了 CT 十 二 
这 就 表 时 , 当 7 一 !ET)} 是 ( 宽 ) 平 衡 高 斯 过 程 时 , 它 的 一 切 有 
限 维 分 布 都 不 随时 间 推 移 而 改变 , 即 蕊 ,也 是 严 构 平 稳 随 机 过 程 . 


22. 4.2 正 态 过 程 的 性 质 


由 于 止 态 变量 间 的 独立 与 不 相关 等 价 , 立 得 如 六 ,为 正 态 过 
程 , 则 过 程 独立 名 过程 的 协 方差 疯 数 (5s ,2) 一 0,s 关 1 

1. 样本 函数 性 质 
T's,t). 

性 质 22. 4. 3 样本 函数 性 质 

CY 如 Xr 可 分 ,mm(1) 二 0 c 字 0,8 交 0, 便 War (XX, 一 名 ) 所 
cs 一 2 1, 则 Xr 样本 旺 数 以 驾 府 1 连续 . 

(2) 如 Xr 可 分 ,和 (连续 ,cec 关 0:eD>0, 便 | Tvr) 一 
Ts) sc 一 | 5 则 和 样本 函数 以 概率 1 连续 . 


* 469。 


(3) 如 Xr 样本 落 数 连续 ,mm 性) 三 0,3 ce>0,0<e<2 使 方差 
VX, 一 四) 守 o:|s 一 :1, 则 样本 函数 以 概率 1 几乎 处 处 不 可 导 . 

2. 正 态 过 程 的 不 变性 

设 Xr 为 正 态 过 程 , 且 工 为 任意 集 ( 也 称 此 种 过 程 为 正 态 系 )， 

性 质 22.4.4 正 态 过 程 的 不 变性 (invariance of normal 
Processes) 

C1) 由 Xr 张 成 的 线性 集 ( 即 Xz 中 任何 有 限 多 个 元 素 的 线性 
组 人 台 之 全 体 ), 仍 为 正 态 系 . 

C2) Xz 在 依 最 率 收 敏 意义 下 的 闭 包 (closure) 仍 为 正 区 系 . 

《3) 设 站 各 二 {六 外;tET}) 为 正 态 过 程 ,wx 二 1;2,…, 如 六 2" 
一 0) ,YtET, 则 Xi 一 {XtET} 如 存在 , 则 也 是 正 态 

C4) 均 方 可 微 的 正 态 过 程 Xi ,其 均 方 导 孙 数 过 程 ( 称 可 导 过 
程 )Xr' 一 { 义 , ET 了 } 也 是 正 态 过 程 . 


(5) 均 方 可 积 的 正 态 过程 Xr, 其 不 定 积分 过 程 | Xds,t € 了 ， 


eftE 了 了) 固定 :也 是 正 态 过 程 . 

《6) 设 有 (2) 为 一 线性 时 不 变 系统 ( 见 定义 23. 6, 1) 的 冲 激 响 
应 函数 ,不 为 均 方 可 积 正 态 过 程 , 则 Y, 一 | Xa)ds,a EY, 
也 是 正 态 过 程 . 

3. 正 态 过 程 微分 与 积分 的 特征 函数 

定理 22. 4.5 设 正 态 过 程 Xr 均 方 可 微 , 则 (CX (入 ) 
到 "C00)" 仍 为 正 态 ,其 特征 函数 为 


ge CH Wat sie 


oT (tt) 
Dum — 


i ， 1 
=exp (i 2 jum tt) 一 了 


] 
了 一 工 4. 一 1 
其 中 
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dT(tt) aT(s,#) 


站 E sor [i 
定理 22.4.6 ， 设 正 态 过 程 X71 均 方 可 积 ,Y() 一 | xd 则 
CY CD oy 了) 仍 为 正 访 过 程 ,其 特征 函数 为 


By Ca ptstis'" te) 


的 * t 下 
< 一 exPp | 3 ‘(5)ds 一 广 >， | | GOdsde | 
2 吕 门 二 


1 


22. 4. 3 正 态 过 程 作为 输 人 通过 非 线性 系统 


设 一 非 线 性 系统 , 它 没有 存储 能 量 元 件 , 即 在 :时 的 输出 YG) 

仅 与 该 时 刻 :的 输入 及, 有关, 其 关系 式 为 
YO) = gC(K,). (22. 2) 

如 果 给 定 输入 过 程 X, 的 分 布 , 且 可 利用 ‘22.2) 式 作 变 量 替 

斤 , 得 到 输出 过 程 Y(t) 的 分 布 , 即 可 写 
PFC Ey) = POX, € A(y)), 

其 中 Aty) 一 {rg EC-o0,y]}. 
如 果 上 一 等 式 对 y 的 导数 存在 ,对 (22.2) 式 求 导 可 得 了 (2) 的 概率 

如 果 输 入 过 程 的 概率 密度 为 /x C(x), 且 几乎 处 处 连续 ,Y(z) 和 
总 的 英 系 是 一 一 对 应 关系 , 则 输出 过 程 的 概率 密度 为 


fy 9) = fi lx) 至 | 


而 且 
ET7(GD) 一 上 gr) fr trydz， 


ELY I= tg) pf, de, 


天 (在 五 时 刻 的 相关 函数 为 
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Ry (CE 一 EC(Y CNY,)) 
一 六 『 E(t] Jg Cr fs, :X,, (x) sr I dda,, 


式 中 fx ,CzisX2) 代 表 在 ,ts 时刻 蕊 ,XX 的 联合 概率 密度 , 它 
是 二 元 正 态 的 . 


22.4.4 零 交 和 靖 交 问题 


设 Xr 是 一 随机 过 程 ,希望 知 道 在 某 一 时 间 间 陋 癌 ee] 了 
中 ,党 的 零点 个 数 ,或 者 更 .… 般 地 ,XX{) 与 茶 一 水 平 线 7+ 一 xo 的 
交点 个 数 , 记 为 N(zostista), 这 在 信号 寻 理 ,经 济 管理 与 系统 控制 
中 ,是 十 分 有 用 的 , 由 十 关 G) 的 随机 性 ,因而 N(xzxo;t1,4s) 也 是 随 
机 的 ;对 固定 xowtists, 它 是 一 随机 变量 ,要 求 得 到 它 的 分 布 或 其 均 
值 等 数字 特征 ， 

这 个 问题 - 般 称 为 零 交 问题 (xo 二 0 时 ) {zero crossing) 和 国 
交 问 题 ( 对 一 般 的 x0) (threshold crossing)， 

定理 22.4.7 设 ! 苞 人) 和 和 了 } 为 均 方 可 徽 的 正 态 过 程 ,SCz) 
是 6 函数 , 则 


N Croyt ‘2) = 上 |Y¥! (7) [dt 


一 上 |[X, |STX, — Kdi. 
与 
E{NCroytints)} 一 [a JX | » SEX, — XJ}dz 
= [| J | fist sr dr'di, 


其 中 (zost or) 为 汪 , 与 XX 的 联合 分 布 密度 . 
记 Cro 和 和 ) 和 太一 (让 和 ?分 别 为 与 x 向 上 和 向 下 相 
交 的 个 数 , 则 有 
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ECV 一 | Xf rost sr dzrdi, 
1 一 呈 


1、 二 | CE 


人 

itr) 一 | jt dr 则 rz 是 所 在 
E 时 与 xo 相交 的 平均 率 . 特别 在 XXy 是 平稳 时 ,Gray 与 无关 ,这 
时 rszrs) 一 rr 它 表 未 单位 时 间 中 ,和 (9 与 zz。 相交 的 次 数 , 利 
用 下 一 定理 ,可 求 出 r(xo). 

定理 22.4.8 设 Xr 是 均 方 可 微 的 实 平 稳 过 程 ; 则 EX,X， 
=0. 又 如 Xy 还 是 正 态 的 , 则 ,和 XX; 独立 . 

定理 22.4.9 设 iX1tET) 是 实 的 均 方 可 微 的 半 稳 正 访 这 
程 , 则 


rn) 一 cexp | -， 
元 上 
其 中 统一 BC0) ,co 一 一 2*(0), 而 B(r) 是 六 ,的 均 方 着 函数 . 
22.4.5 正 态 马 尔 可 夫 过 程 


定理 22. 4.10 设 Xr 晨 正 态 过 程 ,日 EIX,|: 取 0, 基 它 同时 
义 是 马尔 可 夫 过 程 的 充 要 条 件 是 其 规范 化 的 相关 函数 满足 ， 
RiEL ta} =— Rt I RU, ts) £] ts fi. 


其 中 
sst) 
Ri 一 (DTT 各 sss) X Pl) > 90, 
0， 如 了 ,ft) 二 0. 
这 旦 (5,t} 是 相关 函数 . 


定理 22. 4.11 设 1 和 ,一 0, 士 1, 士 2,…} 为 正 态 分 布 ,平稳 
实 随机 序列 , 且 cf0) 天 0, 则 cfm 一 acC0) 闵 0,|a| 委 1 为 (Xe) 是 
二 尔 可 去 过 程 的 充分 必要 条 件 . 
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其 中 
位 一 划一 COV1 07 (7 
定理 22.4.12 设 XG) 是 一 均 方 连续 ,平稳 . 实 正 态 分 布 的 随 
机 过 程 ,ctz) 为 其 协 方差 函数 , 则 clr) 二 e*e(0) ,r 芝 0,a<0 是 该 过 
程 具有 马尔 可 去 性 的 充分 必要 条 件 . 


22. 4.5 零 初 值 布朗 运动 


定 光 22.4.13 随机 过 程 B= {By! 空 0} 是 一 独立 增 量 过 程 
〈 定 六 22. 3.5) ,县 有 一 如 一 NO 一 Vs 时, 则 称 吾 -为 
标准 布朗 运动 (standard Brownian motion) , 简 记 为 BM. 

布衣 运动 又 称 维 纳 过 程 ,详细 讨论 见 第 26 章 , 这 里 只 给 出 它 
与 其 它 过 程 的 关系 . 

(1) 零 初 值 标准 布朗 运动 是 正 态 过 程 , 均 值 函 数 为 0, 而 
Pet 一 ominkyst) ,因此 不 是 平稳 过 程 . 

(2) 零 初 值 5 标 准 )BM 是 齐 次 独立 增 量 过 程 ,因而 是 齐 次 马 
尔 可 去 过 程 . 

《3) BM 是 均 方 连续 的 ,由 定理 22.2.21 及 上 述 (1), 它 的 样 
本 函数 处 处 不 可 微 . 


3 不 存在 , 帮 BM 的 均 方 导数 不 存在 ,但 形式 上 可 写 Br 


导 过 程 Br 的 协 方差 国 数 为 


D2 
Tpls,t)= Fart Sst) 


~ Sts — 1), 
其 中 工 ( ,四 为 Bj 的 协 方差 画 数 ,38(。 1) 是 Dirac 国 数 (6 函数 ). 当 
5 时 ,BCG 一 上 从 而 Pet 为 0 即 瑟 :与 瑟 ' 不 相 半 ,这 种 过 程 
Br 一 般 称 为 白 品 声 (white noise). 由 于 零 初 值 BM 是 正 态 分 布 ， 
故 也 称 Bz 宇 0 为 正 恋 白 曲 声 Cnormal white noise )， 
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当 BB~N(O mG) it>:20 时, 写 Ty (st) = 
5064s 一 上 , 也 称 Br 为 正 态 白 噪 此. 


22. 5 泊 松 过 程 及 其 应 用 


22.5.1 计数 过 程 与 泊 松 过 程 定 多 

定 22.5.1 一 个 随机 过 程 1N (2) ,1 这 0} 称 为 计数 过 程 
(counting process) :如 果 六 (表示 在 人 0, 器 内 事件 4 出 现 的 总 数 . 
因此 , 一 个 计数 过 程 应 当 满 总 : 

(]) AD 

(2) N (四 是 一 非 负 整数 ; 

C3) 如 果 si. 则 天 

(4) 对 于 s<ty NG) 一 N(s) 表 示 时 间 问 隔 (, 相 内 事件 4 出 现 
的 次 数 ， 

… 丰 计数 过 程 称 为 独立 增 量 的 ,如 果 不 相交 县 的 时 间 间 隔 内 
事件 出 现 的 次 数 是 相互 独立 的 . 

-个 计数 过 程 称 为 平稳 增 量 的 .如 果 事 件 出 现 的 次 数 的 分 布 
仅 使 来 于 时 间 间 隔 的 长 度 , 而 与 起 始 时 间 无 关 . 

定义 22.5.2 -个 计数 过 程 {N G2);t 宇 0), 称 为 齐 次 泊 松 过 
程 (homogeneous Poisson process) ,如果 ; 

Cl) NO) 0; 

C2) {N(2),t 庆 0} 是 独立 增 晤 过程 ; 

C3 已 人) 一 1 一 类 十 品 ( 有 40 

CAY PINCGORYE2?} =0th). 

齐 次 泊 松 过 程 的 另 一 定 六 及 非 齐 次 泊 松 过 程 见 定义 27. 2. 1， 


22. 5. 2 齐 次 泊 松 过 程 的 几 个 问题 


1， 泊 松 过 程 LN CG);t 守 0} 在 时 间 间 也 Cs,to 十 tj 内 事件 出 更 
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次 的 概率 为 
PI[LNG FO) — NG)T = a) = MO 0 二 0)1, 2， 


A! 

2. 各 次 到 于 时 间 同 不 分 布 

记 为 事件 4 第 一 次 出 现 的 时 间 问 隔 , -一般 地 .对 ”六 1 和 
为 事件 第 ?次 出 现 与 第 # 上 次 出 更 的 时 间 何 隔 ， 和 nm 关 让 称 : 为 
时 间 间 隔 序列 ;那么 {了 X,,# 主 1} 是 一 串 独立 同 指数 分 布 的 随机 变 
量 , 具 有 均值 172. 

3. 等 待 时 间 的 分 布 

记 5 为 从 时 间 +==0 开始 到 达 第 二 次 事件 出 现 所 需 的 等 待 时 
间 , 则 s 的 概率 密度 为 生 分 布 ; 


ol 
je nl 0 


1。 zt < 0 

4. 到达 时 间 的 茶 件 分 布 

给 定 NG 一 #81.… ,5 的 条 件 概率 密度 为 

FO |NO) =n) = ARI, OZ 

定理 22. 5.3 给 定 入 (0 一 a, 则 4 深 到 达 时 间 sy ys* 与 
个 独立 均匀 分 布 于 区 间 (90,2) 内 的 随机 变量 的 顺序 统计 量 有 相同 
的 分 布 . 
5 {NC ,t 闫 0} 和 {Ns(f),t 宇 0} 为 两 个 相互 独立 的 泊 松 过 
程 ,它们 在 单位 时 间 内 事件 出 现 的 平均 次 数 分 别 为 如 入 , 记 5" 
为 第 一 过 程 中 出 现 第 次 事件 的 等 待 时 间 ,sf* 为 第 二 过 程 中 出 现 
第 一 次 事件 的 等 待 时 间 , 那 么 ,第 ~- 过程 出 现 第 次 事件 先 于 第 二 
过 程 出 现 第 一 次 事件 的 概率 为 

fs) = Ch 十 加 六 


22. 5. 3 滤 过 的 泊 松 过 程 及 应 用 


设 一 泊 松 分 布 的 冲 激 脉冲 串 经 过 一 线性 时 不 变 泪 波峰 , 则 泪 
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CD 一 


波 器 输出 是 … 随 机 过 程 {X ,0sst< ec 

和 SA (22. 3) 
式 路 (1) 代 表 滤 波 高 的 冲 激 响应 ,代表 第 站 个 冲 激 脉冲 出 现 的 
时 间 ,N(7) 代 表 在 (0,T] 内 进入 到 小 让 恬 输入 端 冲 激 脉 串 的 个 
数 , 它 服从 泊 检 分布 , 即 


PIN(T) = ££} = 


CAT'Yt 
El 
这 里 A 代表 单位 时 间 内 的 平均 脉冲 数 ， 

若 在 50, 了 ] 内 进入 到 滤波 器 和 输入 端的 脉冲 数 NO) 为 站; 则 该 
& 个 脉冲 出 现 的 时 间 均 为 独立 同 分 布 的 随机 变量 , 且 该 随机 变量 
均匀 分 布 于 00, 了 TJ] 内 ,有 即 


© 他 EE 二 Ol 2 


fnen) Ce 7 ”UO 
0， ”否则 . 
称 (22. 3) 式 所 表示 的 随机 过 程 Xr 为 滤 过 的 (filtered) 泊 松 过 程 . 
应 用 22. 5.4 温度 限制 的 二 和 极 管 中 , 出 散 弹 效应 引起 的 散 弹 
噪声 电流 是 滤 过 的 泊 松 过程. 此 时 二 极 管 板 流 为 


I = Pit—U), tAY, 


其 中 己 是 第 7 个 电子 的 发 射 时 刻 , 它 是 L0,T) 上 均 句 分 布 的 随机 
变量 ;函数 屎 s) 为 时 刻 了 的 板 流 ， 
ie = za 全 ， 如 0 委 过 可 
其 它 . 
这 里 g. 为 电子 电荷 ,而 为 电子 从 阴极 出 发 到 达 板 极 所 需要 的 
时 间 ， 
不 难 求 得 板 流 的 统计 特性 : 
TCD 一 让。 
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Tt + r= a] i edt, rt>0, 


VOU) = 4 Cdt, 
其 中 4 为 单位 时 间 内 发 射 的 平均 电子 数 . 
22. 5. 4 韦 布尔 过 程 及 其 应 用 


1. 韦 布 尔 过 程 

定义 22. 5.5 称 一 强度 函数 为 40) 二 48x 的 ( 非 齐 次 ) 泊 松 
过 程 ( 定 义 27,2,1) 为 事 布尔 过 程 CWeibull process), 这 里 1， 
B80, 20. 称 


Ai) 一 | aeode 一 Me， 0 
用 


为 累积 强度 函数 . 

上 述 韦 布尔 过 程 {NG) ,1 之 0} 的 事件 首次 发 生 ( 或 第 一 个 质点 
到 达 ) 的 时 间 及 ,, 有 书 布 尔 分 布 . 事实 上 

p(X > = PNG) STS 0 =e Nn =exp(— 41), tt 0. 

但 第 二 、 第 三 次 ……: 发 生 的 相 邻 间隔 时 间 都 不 再 是 韦 布尔 分 布 . 相 
邻 间 隔 时 间 , 当 0<-P<1 时 呈现 变 大 趋势 ,而 A>1 时 则 呈 变 小 趋 
势 . 8 二 1 化 为 齐 次 泊 松 过 程 . 

2.， 韦 布尔 过 程 模 型 的 统计 分 析 

1) 定数 观察 情形 

对 事先 给 定 的 ”观察 到 第 = 个 事件 发 生 的 时 刻 终止 ,可 获 
得 数据 


0 让 
用 韦 布 尔 过 程 作 模 型 (例如 可 靠 性 模型 ,计数 中 的 “事件 "解释 
为 系统 故障 ) 时 ,要 估计 未 知 参 数 4^ 和 8. 
该 TT ,Ts，,…,T， 为 并 二 个 事件 发 生 的 时 刻 , 则 其 联合 密 麻 为 
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CE 一 exp(— a) Tape). 
af af 4 、 、 
由 37 二 0， 了 5 一 0 解 得 4,8 的 最 大 似 然 估计 CMLE) 为 


ap 
[ 一 “| Sn(T,/T) | ， 
A=an/(T,B). 

定理 22. 5.6 设 了 ,i 一 Tn 为 书 布 尔 过 程 头 个 事件 发 生 
的 时 刻 , 则 当 工 ,= 已 知 时 

{1) 2nB/ Bx? ., 

(2) 2ATE ~ Ys, 

(3) Aln CT 与 2nln(Y/2)/Z 同 分 布 , 基 中 了 ,2Z 相互 独立 ， 
分 别 有 鸡 及 和 -分布 . 

由 此 定理 ,8 的 置信 和 度 为 1 一 “4 的 图 信和 区 间 为 


[1 


若 ?zin(Y/237Z 的 a 分 位 数 记 为 hta)( 可 由 计算 机 给 出 }, 册 
如 2 的 1 “双全 置信 区 间 为 
[去 1 exp [14 -exp 5 1 | | 
| 2 2 ?| 2 :! J 

2) 定时 观察 情形 

观察 在 指定 时 刻 上 终止 , 设 有 数据 0 起 二 和 人 6St. 仿 1) 
可 得 户 与 4 的 MLE 为 

| =a[ DnG/T)] 
A=n/(tB). 


定理 22.5.7 在 Nt()==n 条 件 下 ,有 2n878 一 人 2， 
出 此 可 得 8 的 1 一 a 置信 区 间 为 
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3. 在 可 靠 性 增长 模型 中 的 应 用 

假定 一 系统 开发 阶段 如 下 进行 :系统 研制 成 功 后 进行 试验 , 直 
到 出 现 - -个 故障 为 正 , 寻找 原因 并 改进 系统 ,消除 引起 此 种 故障 发 
生 的 故障 模式 ,然后 再 做 试验 ,再 修改 ,直到 试验 达到 预定 可 党 性 
敬 求 或 已 满足 规定 的 试验 期 长 度 为 止 . 这 样 ,系统 的 可 昔 性 在 此 开 
发 阶段 是 不 断 增 长 的 . 若 用 MD 于 460, 器 中 系统 故障 次 数 , 而 维修 
改进 的 时 间作 0 处 理 .许多 大 型 复杂 系统 的 开发 阶段 数据 表明 ， 
(ED 间 有 关系 lnENC 一 骨 ni 十 ap>0. 今 鳃 后 则 五 NG) 
一 各? 即 太 人 一 ,Nt 宇 0} 为 Weibull 过 程 ， 

当 系 统 在 时 刻 & 定型 投产 , 则 可 认为 4 后 系统 不 再 作 设 计 上 
的 改进 ,而 有 常数 失效 率 Mto) 一 1456 寿命 有 指数 分 布 ,平均 寿 
命 为 号 -048) 开发 阶段 ,8< 过 1, 视 为 增长 参数 . 

注 复合 泊 松 过 程 (compound Poisson process) 请 读 节 27.6 
及 [30], 独 立 增 量 过 程 在 排队 论 中 应 用 见 第 32 章 及 [70], 
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23 ”平稳 随机 过 程 与 时 间 序 列 
23. 1 平稳 过 程 的 定义 


平稳 过 程 (stationary process) 是 对 于 时 间 的 推移 具有 某 种 平 
稳 性 的 随机 过 程 的 总 称 , 它 分 为 强 平 稳 过 程 《stroetly stationary 
process ) 和 弱 平 稳 过 程 (weakly stationary process) (或 宽 平 稳 
过 程 ). 

平稳 过 程 应 用 广泛 . 许多 领域 如 无 线 电 技 术 , 自 动 控制 等 方 
面 , 随 善 时 间 的 演变 ,在 工作 条 件 基本 稳定 的 情况 下 ,可 以 认为 是 


23. 1. 1 ” 弦 平 稳 过 程 


定义 23.11 设 训 一 {XG),1ET) 是 定义 在 概率 空间 
《2,9 ,Py 上 的 复 值 随机 过 程 ,T 为 实数 集 或 其 子 集 , 若 Xr 满足 

(1) 对 任意 :ET,EIX() | <co， 

(2) 对 任意 :ET,t 十 ET， 

EC(X(U+IXU)) = Br), 

则 称 Xr 为 红 平 稳 过 程 , 或 宽 ( 广 义 ) 平 稳 随 机 过 程 ,简称 平稳 
过 程 . B75) 称 为 Xz 的 相关 玉 数 (correlation function)， 

定义 23.12 误区 /一 {XX() ,ET} 是 平稳 过 程 ,车 本 是 离散 
集合 , 称 及 ; 为 平稳 序列 (stationary series), 若 了 还 是 时 间 集 合 
称 Xx 为 华 稳 时 间 序 列 (stationary time series). 


23. 1.2 相关 函数 
性 质 23. 1.3 ”相关 函数 B(7) 的 性 质 
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(1) BO0) 守 0 

C2} | 吾 人 rz) |BCO) 

(3) B(—#)—BCr) 

(4) 非 负 定性 (nen-negative definete) 对 任意 自然 数 = 任意 
复数 ai,az… av 任意 握力 ET 有 


DS BG 一 二 aai 0. 


定理 23.1.4 为 使 请 数 B(7) 为 某 纶 平稳 过 程 的 相关 函数 ， 
充分 必要 条 件 是 它 具 有 (23. 1. 3) 中 的 性 质 (4). 

定理 23.1.5 对 于 平稳 过 程 { 和 (ET 下列 四 个 条 件 
等 价 : 

《1) 过 程 为 均 方 连续 ; 

(2) 过 程 在 :一 0 点 均 方 连续 ; 

C3) B(r) 在 R, 上 连续 ， 

(4) Btz) 在 r=0 点 连续 ， 

本 文 以 下 异 设 Xx 为 均 方 连续 的 , 旦 不 失 一 般 性 ,可 设 EX, 一 
及 一 和, 否则 可 考虑 葬 /' 一 XX, 一 EX,, ET. 

例 23.1.6 若 因 ={X(n) wnEN) 为 实 的 互 不 相关 随机 变量 
序列 , 且 ECX(0)) 一 0,DCX(2)) 二 2 ynEN,N 为 整数 列 . 则 Y xx， 
庆生 和， 

ECXCGIXOnA)Y = 2 《23. 1) 
0，, nm 3 4. 
即 相关 函数 只 与 一 m 有 关 , 所 以 它 是 平稳 过 程 . 

在 工程 技术 上 , 常 把 上 述 随机 变量 序列 称 为 “ 白 曝 声 ” (white 
noise). 它 普 访 地 存在 于 各 种 波动 现象 中 (如 电流 的 波动 ， 电子 发 
射 的 波动 和 通讯 设备 各 部 分 电流 或 电压 的 波动 等 )， 

例 23.1.7 设 随 机 变量 序列 {XCn),x€N) 满 是 规范 化 条 件 
IX) | 二 1 及 条 件 ECXGn 十 r) 玉 (mn)) 二 0,r 关 0,rEN, 并 用 均 
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方 收敛 定义 
一 六， 大 人 一 站， 其 中 >， | 好 | < oo; 


了 一 一 ee 


入 一 OX 一 站 其 中 > I? <oo; 
T= i=D 


和 一- DX — £5), nt 固定 ; 
cs Dis Cs; 均 为 复数 , 则 {XX (nxn),ne MN}, (y(n),n 和 ct Ar 
{zoo2 和 人 ) 均 为 葡 平 稳 序 列 , 它 们 的 相关 遂 数 分 别 为 
BD)= DY ads 


Br) 一 >) 55， 
1 天 0 


HO)— YP) eli, 

并 称 zx,y.,z 为 序列 的 滑动 和 ， 
例 23. 1.8 随机 电报 信号 考虑 XC—1)* 20, 对 每 个 
的 取 值 仅 有 0,1 两 种 状态 ,每 种 状态 持续 时 间 是 随机 的 (参见 


图 23. 1). 
一 工 1 ， 
1 1]j: 


C2) 在 上 时间 内 ,波形 变化 次 数 上 服从 参数 为 站 泊 松 分 布 , 对 
留 定 的 4, 它 是 泊 松 流 . 故 


Cl) Tt wy 其 一 


CAEY’ 
R! 


e k= O12 


其 中 由 
《3) 对 任意 六 0, 王 与 后 独立 , 则 人 局 } 是 平稳 过 程 . 
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图 23.1 


23. 2 ” 柏 关 函数 和 平稳 过 程 的 谱 分 解 


23. 2. 1 相关 函数 的 谱 分 解 


1, 谱 分 解 定理 

定理 33. 2.1 波 赫 拿 - 辛 软 (Bochner-xnnuam 定理 设 XX7 二 
CE 了 是 均 方 连续 的 夫 值 为 0 的 平稳 过 程 . Bt 是 它 的 相 
关 图 数 ， 

(1) 如 果 Xz 是 离散 时 间 数 值 过 程 , 旭 


BO) = | ewdF' C4), (23. 2) 


其 中 下 (是 有 界 右 连续 、 非 负 不 减 函 数 上 且 不 计 常 数 之 差 外 ， 
唯一 决定 . 如 要 求 严 ( 一 中 一 0, 则 有 (iD 唯一. 

(2) 如 果 Xr 是 离散 时 间 向 量 过 程 , 则 BC(t) 有 公式 (23.2) 的 
表现 ,其 中 天 人 是 窍 阵 ,对 于 态 闻 六 下 (一 下 () 是 埃 尔 米 特 
《Hermite) 的 和 非 负 定 的 ,如 果 假 设 PC4)( 按 元 收 敏 意义 下 ) 右 过 
续 , 生 下 (一 7 一 OD, 则 下 () 唯 一 . 

《3) 如 果 Xr 是 连续 时 间 数 值 过 程 , 则 


Bt) = eudF (A), (23. 3) 
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其 中 FCW) 的 意义 与 情形 习 ) 相 同 ,只 是 (一) 一 0. 
(4) 如 果 Xr 是 连续 时 间 向 量 过 程 , 则 BQ) 有 (23.3) 公 式 的 
表现 . 其 中 矩阵 F(A} 的 含义 与 情形 (2) 相 同 , 但 矩 阵 F( 一 0) 一 0. 
此 定理 称 为 相关 函数 的 谱 分 解 定 理 (spectral decomposition 
theorem). (和 ) 称 为 过 程 YXr= {XX() ,1ET} 的 谱 函 数 (spectral 
funetion) ,而 谱 函 数 下 (产生 的 测度 称 为 谱 测 度 (Cspectrai 
measure}. 
下 列 等 式 成 立 
F(x), 离散 时 间 ; 
0 Tecos)， 连续 时 间 ， 
2， 谱 密度 (spectral density) 
定理 23.2.2 均 方 可 积 平稳 过 程 的 谱 蜀 数 F(X) 有 勒 卸 格 
分 解 


F(A = FON + Feta) + PFC). 
这 里 六 (4) 关 于 勒 贝 格 测 度 绝对 连续 , 即 存在 可 积 函 数 (和) ,使 
| /cdX， 离散 时 间 ; 
FAD = 
| fq4， 连续 时 间 . 
Ft4) 只 可 能 在 有 窍 或 可 列 个 六 点 集合 上 跳 唉 地 变化 ,下 (0 
连续 ,并 且 关 于 勒 贝 格 测度 几乎 处 处 有 等 于 0 的 导数 ， 
定义 23.2.3 谱 函 数 ( 抢 和 阵 PC 的 绝对 连续 分 量 的 导数 
Fi) 二 f(A) MN 谱 密 度 蜗 数 ( 和 矩阵 ) Cspectral density function )， 
设 Xr 一 (XU) ,tET} 是 向 量 过 程 ,其 谱 密 度 商 数 /AC) 绝 对 连 
续 , 如 果 它 的 谱 密 度 矩 阵 FA) 一 已 (4) 的 秩 等 于 rr,r 一 1,&, 其 中 率 
是 过 程 的 维 数 , 则 称 Xr 是 秩 为 > 的 过 程 . 苦 detf (和) 关 0( 几 平 对 
一 切 办 , 则 称 天 为 最 大 秩 过 程 (maximan rank process). 


当 谱 密度 /存在 ,|1BG) ld < oo ,相关 函数 Br) 的 谱 分 
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解 式 为 
| | erCDda， 连续 时 间 ， 
Bw =| erdFOW = (23. 4) 
一 三 e709d4， 离散 时 间 ; 


作 Fourier 道 变换 ,可 知 对 连续 情况 


Fo = 去 | eB)dt. (23.5) 
在 实情 况 下 
FY = 三 | cosxeBce)dz， 43 0. (23.6) 
站 
对 离散 情况 , 当 18m)|? < co 时 ,有 
CD = 二 2 BoDe™, (23.7) 
在 实情 况 下 
ay = 元 半 BCz)cosny (23.8) 
例 23.2.4 白 品 声 序 列 ( 例 23.1.6) 的 相关 了 沿 数 求 得 
Bln) = {ei 的 
0， 半天 
则 由 式 (23.7) 谱 密度 函数 
om 2 
AND 一 半 2Boe™ 一 和 一 式 所 1 近世 


而 谱 函 数 为 FG) = | Foydo = 所 人 十 四， 
例 23,2.5 若 X(a) 为 白 噪声 序列 , 令 
Yn) 一 2 CX(k), 


此 一 


则 Ya) 的 相关 函数 与 谱 密 度 函 数 分 别 为 
有 (za) = 0 > CC， 


此 一 一 co 
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A 一 喜 | > Coe | 
例 23.2.6 设 从 (2)， ,eT | 各 史 机 电报 信 生 ， 其 相关 西数 为 
Biry) = ie e 2 , 一 0 十 50. 
如 图 23. 2 所 示 . 


Be} 


图 23.2 


潜 密 度 1 有 
潜 密 度 函 数 /(o) 一 去 TR 一 woo， 


式 中 为 是 泊 松 分 布 的 均值 . 
公式 23, 2.7 几 种 重要 随机 过 程 的 祖 关 函数 及 相应 的 谱 密 
度 隔 数 如 表 23. 1， 


23.2. 2 平稳 过 程 的 谱 表 现 


定理 23.2.8 任何 以 下 (为 谱 函 数 的 均 方 连续 平稳 过 
程 Xr=tXotET}， 都 有 谱 表 现 ( 或 谱 分 解 )(spectral 


representation) 


XxX = | evdtCD， (23. 9) 
其 中 
A= (Ce 离散 有 时间; 
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相关 图 数 谱 密 度 
se 0 
oe or rp 
本 mi 
oe a>0) 2 ee 
2 os 2 a 
Te eceospr (tan0y le- Te i } 
4 Te 
EE { 站) GE 1 1 1 
2 ar | OB Te Ty te 
a [Xs 
2 Sr (a,6>0) 7 一 | = 
0 [aA 
a ZA 
Ae “(1++alr|) RO ey 


Bir)= 


(人 


| 和 受 1 
0, :r| >1 


[sn 志 /) 
2 2 2 


alr l 1 2 | 
Ae 51 (1+telelt+ er)| 


Bo’ 


Ard a 


注 ， 


* 相关 了 晒 数 Bir) = 2a 全 


函数 形式 , 需 注意 该 式 旦 可 积 函 数 .但 却 不 是 绝对 可 积 的 . 


是 工程 中 常常 用 来 近似 氢 合 许 儿 相关 函数 的 一 种 


积分 视 为 黎 曼 -斯 带 尔 切 斯 (Riemann-Stieltjes 简 记 R-S} 积 分 定 
闵 中 和 和 的 序列 的 均 方 极限 ;fC 加) 为 正 交 增 量 过 程 ,满足 条 件 


二 (CA 一 0， 


瑟 (dgfhdECA) = dF (a). 


如 果 假 设 过 程 Y() 在 均 方 意 义 下 右 连续 , 则 力 唯 一 确定 (精确 
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到 如 的 0 概率 子 集 ). 
定义 23.2.9 公式 (23.93 中 的 过 程 红 国 称 为 对 应 于 平稳 过 
程 Xi 的 谱 过 程 (spectral process )， 
按照 正 交 增生 过 程 的 均 方 积分 定义 (23.9) 的 积分 是 下 列 和 式 
的 极限 
lim Lm SeviLy 一 


其 中 e* 是 以 祁 ' 为 业 率 的 简 谐 振动 ,而 于 (C4412 一 8%)] 就 是 这 个 
简 谐 振动 的 振幅 ,平稳 过 程 的 谱 表 现 说 明 它 是 由 不 可 数 多 个 ,不同 
闫 率 的 具有 随机 据 幅 的 简 谐 波 的 从 加 . 由 二 (4 是 正 交 增 量 过 
程 ,所 以 这 些 简 谐 波 的 振幅 是 互 不 相关 的 . 平稳 过 程 就 是 这 些 物理 

平稳 过 程 的 谱 表 现 首 先 由 上 由, 再. Konmoropas. 于 1941 年 提出 
任何 平稳 过 程 这 种 展开 式 的 可 能 性 . 这 - :结果 以 希 尔 伯 特 空 间 万 
的 术语 陈述 , 且 是 从 茶 些 运算 子 谱 理 论 中 引导 出 米 的 ， 


23. 3 平稳 过 程 及 其 轨道 的 解析 性 质 


23. 3. 1 平稳 过 程 的 绚 方 连续 性 和 可 微 性 


设 { 和 (ET 是 连续 时 间 数 值 过 程 , 60 和 开 (A) 分 别 为 它 
的 相关 阻 数 和 谱 范 数 , 平 稳 过 程 作 为 二 阶 矩 过 程 的 特例 ,有 下 述 判 
别 准 刚 ， 

定理 23. 3.1 平移 过程 (1) 均 方 连 续 的 充分 必要 条 件 是 它 
的 相关 函数 BC(8) 在 点 :=0 连续 . 

定理 23. 3. 2 平稳 过 程 闵 () 有 mx 阶 均 方 导数 的 充分 必要 条 
件 是 它 的 相关 函数 B02) 在 点 :==0 有 严 阶 导数 ,或 存在 有 穷 2m 阶 
谱 S。 = | arc 
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车 Ss 一 | MapCDb 一 =, 则 过 程 y(O) 一 ((X(D Xe)， 
t 世 了} 是 宽 平 稳 过 程 , 它 的 矩阵 相关 函数 吾 ,CG) 为 
「 exxdF (CA) ewedF (CA) 
已 GD 一 人 
erredF (A) | eldF cA) 


23. 3.2 轨道 的 解析 性 质 


定理 23. 3.3 如 果 对 某 个 g>3, 当 t0 时 ,有 2B8(0) 一 B(2) 
-Be)=0| 古寺 | ; 则 以 BQ) 为 相关 函数 的 这 程 等 价 于 某 一 
过 程 , 其 轨道 在 任何 有 穿 区 间 上 以 概 府 1 连续 . 特别 ,如 果 B(7) 在 
点 t 一 0 有 二 阶 导 数 , 风 条件‘ 定理 23. 3. 3) 成 立 . 


定理 23. 3.4 ”如果 对 某 个 9g>3, 当 1-0 时 有 
6B(0) 一 4BG) 一 4B(— #0) BOC) + BC— 25 


三 0 


了 
|inial 日 ” 
则 以 BG) 为 相关 函数 的 过 程 { 玉 (2) ,ztET} 等 价 于 某 一 过 程 ,其 轨 
道 以 概率 1 可 微 . 特别 ,如 果 BC 在 :0 有 4 阶 导数 , 则 定理 
(23. 3. 4) 成 立 . 
定理 23. 3. 5 如果 平 稳 过 程 的 谱 函 数 FC) 只 在 有 穷 区 间 上 
变化 , 则 存在 过 程 的 等 价 过 程 ,而 且 后 者 的 轨道 以 概率 1 解析 . 


23. 3.3 遍历 性 


研究 随机 过 程 的 统计 特性 ,一 般 要 知道 过 程 的 ” 维 分 布 函 数 
或 二 维 概率 密度 函数 ,这 在 实际 工作 中 往往 办 不 到 , 能 否 从 一 个 时 
间 范围 内 观察 到 的 一 个 样本 函数 作为 提取 这 个 过 程 的 数字 特征 的 
充分 依据 ? 显然 ,一 般 情况 下 办 不 到 . 如 果 一 个 过 程 从 它 的 任 一 个 
样本 函数 , 作 某 种 时 间 上 的 平均 就 能 得 到 此 过 程 的 相应 的 统计 特 
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性 , 则 称 此 过 程 有 遍历 性 (各 态 历 经 性 ), 例如 ,着 讨 程 苹 二 {KX()， 
iET} 的 任 一 个 样本 沙 数 z(1),1ET, 平 均值 》 xc077 = 


te 


EX() , 则 称 X 有 均值 遍历 性 (Frgodie ). 这 条 件 也 可 写成 
和 XO)/T 一 EXU) ,a.s .有 各 态 历 经 性 (遍历 性 ) 的 随机 过 程 . 


定 闷 23.3.6 (1) 设 (ttET) 是 均 广 连续. 零 均 值 平 稳 过 
程 , Bt 和 五 (1 分别 是 它 的 相关 状 数 和 谐 函 数 ， 和 人 一 


| ”sedFco 是 它 的 谱 表 现 , 称 随机 变量 


1 一 . , 
- 之 和 GD)， 了 = {10,1,2}， 是 正 整 数 ， 
XC， 了 = {0, 十 1, 上 2,…)，s 是 正 整数 ; 
克 四 25 十 1 全 时 + ri 日 4 ’ 
二 | xd, T= (0,+ wm),s 0i 
so 
去 | Xdt, T=(~ 0, 二 00),s>0. 
23J —s 
六 到 的 时 间 均 值 . 
《2) 设 
1 5 一 1] 加 
28D, 了 一 (1 2， }， s 是 正 整 数 ， 


8)， 全 一 40, 士 1, 土 2, 尺 ),s 是 正 整数 ; 


Bb, 二 J 2s 十 1 
二 | Bear, T= (0,+ ,so 
站 
去 | Bde, 一 (一 co 十 cos 


称 BB, 为 天 的 时 间 自 相关 殴 数 Cautocorrelation function )， 
定 湾 23.3.7 设 { 芝 (2),tET} 为 均 方 连 续 , 均 值 为 零 的 平稳 
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过 程 , 当 s 一 co 时 ,时 间 均 值 六 , 的 均 方 极限 存在 , 称 此 这 程 具有 遍 
历 性 ， 
定理 23. 3.8 设 Xr 为 均 方 连续 ,均值 为 堆 的 平稳 过 程 , 则 
L.i.mX, = $060) ~ $00) ,im B, = F(0) — FCO-) 

定理 23.3.9 L.i.mX, 一 (X(t)) 一 0 的 充 要 条 件 是 谱 函 数 
玫 ( 在 0 点 连续 . 

这 样 , 如 去 (0) 在 0 点 连续 , 则 所 (5 的 时 间 平 均 , 均 方 收 化 于 
其 蛋 的 统计 平均 ECX (00), 工程 中 常常 利用 这 种 遍历 转 撞 技 术 测 
量具 有 各 态 历 经 的 随机 过 程 的 均值 ， 

理 农 (Shannon) 提 出 的 乳 样 定理 (sampling theorem) 对 于 
通信 .控制 理论 起 着 十 分 重要 的 作用 . 在 运用 计算 机 对 随时 间 连 续 
变化 的 信号 x (0) 进行 处 理 时 ,首先 必须 对 信号 进行 离散 的 “ 采 
样 ” 一 般 每 隔 定 长 时 间 4 后 对 z04) 进 行 观察 ,获得 x(4) 在 1 一 4 
时 的 数值 xz 一 :zcC44). 4 盖 小 ,同样 时 间 内 采样 点 印 多 ,就 能 更 好 
反映 x(2) 的 特性 .但 4 赤 小 ,采样 设备 负担 重 ,计算 量 也 过 太 . 对 
于 平稳 过 程 , 有 下 述 定理 ， 

定理 23.3.10 若 Xr== {XX(),tE€ETl 是 均 方 连续 的 平稳 过 
程 ,又 Xz 的 谱 函 数 FCNWVD, 对 某 个 8B>0 满足 


| dF =0, (23, 10) 
[2rH 
则 
w sin T(t 一 kA) 1 
XU) 一 DXA) ， 4 一 吉 ' (23.11) 
se RE — A) 


上 述 级 数 对 每 个 上 按 均 方 意义 下 是 收敛 的 ， 
实用 中 常 遇 到 的 情况 是 及 + 有 谱 密 度 /(2), 这 时 相应 于 定理 
23. 3.9 的 情况 是 
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AD 一 0， | > 亦 : (23. 12) 


(23. 10) 与 (23. 11) 用 来 选择 B= 和 这 各 加 不 包含 高 于 为 


的 频率 成 份 . 因此 称 % 为 截止 频率 (truncated frequency) 或 奈 奎 
斯 特 (Nyuuist) 频 率 . 

利用 采样 定理 ,对 时 间 连 续 倘 号 ,平稳 过 程 XX 一 {X(1),tE 
T} ,TT 一 (一 20, 十 oo, 采样 值 天 = { 芒 (nA) ,nn 一 0, 土 1, 十 2,…} 是 
一 个 平稳 时 间 序 列 , 实用 中 采样 间隔 常 取 34/2 或 4&73. 


23. 4 平稳 正 态 过 程 


23,4.1 定义 


定义 23.41 设 训 二 {六 (1),tET} 蚌 平稳 过 程 ,对 任意 的 
n 之 1 和 任意 一 组 (ET, 一 12) ,向 量 人 GD) (DG)} 
有 多 维 正 态 分 布 , 则 称 Xr 为 平稳 正 恋 过 程 (stationary normal 
process) ,或 平稳 高 斯 过 程 . 

平稳 正 态 过 程 完全 取决 于 自己 的 数学 期 望 和 协 方差 函数 . 反 
之 ,每 一 个 函数 芭 () = 二 常数 和 满足 18G) | 所 BO0) 及 BOG),2ET 
连续 , 则 可 决定 某 一 平稳 正 态 这 程 , 

正 态 过 程 是 二 阶 矩 过 程 的 一 个 重要 子 类 , 它 在 实际 中 有 着 广 
泛 的 应 用 ， 


23. 4, 2 ”平稳 正 态 过 程 的 若干 结 果 


定理 23.4.2 对 可 分 的 平稳 正 态 过 程 {X(),tET} ,如果 存 
在 常数 e 守 0,c 宇 0, 使 
15kr) — BOO)| elrl’, 
则 它 的 样本 薄 数 以 概率 1 连续 . 
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定理 23.4.3 设 {X00) ,1E Ri} 是 均 方 连续 的 博 雷 尔 可 测 的 
平稳 正 态 过 程 , 则 它 为 遍历 的 充分 必要 条 件 是 谱 函 数 FC) 是 连续 
函数 . 

定理 23. 4.4 设 { 琶 人 } 为 平稳 正 态 过 程 , 则 { 和 (9} 是 马尔 可 
去 过 程 的 充 要 条 件 为 对 任意 忌 盖 0,rs>0 有 

Ri 二 TT) = Rm)R(r), 


其 中 ROOTE(XGHOXOY ELLXG TY} =H 


定理 23.4.5 设 { 玉 (0)} 为 平稳 正 态 过 程 , 则 {及 (2)} 是 均 方 连 
续 的 马尔 可 夫 过 程 的 充 要 条 人 忻 汐 其 相关 函数 


BCr) 一 emBC0)，a 之 0 常数 ， (23.13) 
对 {Ca on 二 0; 土 1} ; 则 C23.13) 式 改 为 
Be 一 amBI0)， lal 志 1. (23,14) 


23. 5 ” 强 平稳 过 程 


本 节 以 干 , 为 简洁 ,也 常用 小 写字 攻 表 示 随 机 过 程 . 

定义 23.5.1 设 了 =[0, 十 cc), 考 虑 概率 空间 (如 , 灾 ,P) 及 
其 定 广 于 其 上 的 实 值 过 程 X(a)= {xttyw) ,tfET}, 对 任意 常数 
s 实 0, 任 意 正 整 数 #, 任 意 #ET,cE Ri,i 一 1:x; 满 足 

PTO) Se — Tn) = Pr tt) Ei — Tn) 

称 久 (ww) 为 强 平稳 过 程 (strongly stationary process). 

车 对 每 一 固定 ; 半 0, 定 义 随机 过 程 Xtw) 二 和 rls 十 fy 约 》， 
ET}. 

定理 23. 5. 2 为 使 X(w) 是 强 平稳 过 程 , 当 上 且 仅 当下 列 诸 荣 
件 之 一 满足 : 

(1) 对 任意 * 闻 0, 刁 (四 与 和 (Co 有 相同 的 分 布 . 

(2) 对 任意 ”元 实 值 博 瘟 尔 可 测 函 数 f(y,,… ,yr) ,有 
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ELf Cx x(t) = ELfCzl + 3s) yes x(t 十 5))] 
(3) 对 任意 定义 于 RI 上 的 实 值 多 ?1 可 测 邢 数 yxKe(，)), 有 
E{gX)? = EKA,)}. 
一 般 , 强 平稳 这 程 未 必 有 二 阶 矩 ,因而 不 一 定 是 强 平稳 过 程 . 
另 一 方面 , 弱 平稳 过 程 不 一 定 是 强 平 稳 过 程 , 但 对 于 正 态 过 程 而 
言 , 强 平稳 与 弱 平 稳 是 相同 的 . 


23. 6 线性 时 不 变 系统 


23.6.1 引言 

在 工业 生产 和 科学 实验 中 通 到 的 各 类 随机 过程, 往往 是 与 系 
统 联 系 的 ,由 对 各 种 “输入 ”" 按 某 种 规划 产生 “输出 ”. 而 研究 系统 的 
各 种 特性 就 是 讨论 输入 输出 闻 的 联系 及 各 种 指标 间 的 联系 . 例如 ， 
电路 分 析 中 ,电路 本 身 是 一 个 系统 ,电路 中 电子 热 运动 一 - 热 噪声 
就 是 输入 ,而 电路 输出 端的 电压 或 电流 波动 就 是 输出 ,习惯 上 系统 
用 一 个 方 框 表 半 ,如 图 23. 3 所 示 . 


输入 输出 
ZOD 2 yD 


图 23.3 


记 zx 表示 输入 ,y(9 表 示 输 出 ,三 表示 系统 作用 , 即 
3 人) = Lizrtt}]. 
数学 中 工 称 为 算 子 , 它 作 用 在 xGQ) 上 的 结果 是 y(t),L 由 系 
统 的 物理 特性 决定 ,这 里 输入 xz0) 可 以 是 随机 的 ， 


23.6.2 线性 时 不 变 系 统 
定义 23-6.1 设 系统 用 工 表 示 , 蔡 
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yt) = Lx i= 1,2, 
对 任意 常数 a,8 都 有 
Laxr lt) 十 Prtt} = aLLrtt)] + BLCratt) ] 
= at + Bystt), 

则 称 系 统 工 是 线性 系统 (linear system). 

如 果 系 统 工 对 任意 rz>>0, 都 有 

Ltrtt 二 |]= y(t 二 7)， 

则 称 系 统 工 是 时 不 变 的 (time invariant system). 

由 定义 可 知 ,线性 时 不 变 系 统 满足 登 加 原理 ,并 且 输 出 对 输入 
的 依赖 关系 不 随时 间 的 推移 而 改变 . 一 个 物理 系统 处 于 稳 态 后 ,一 
般 认 为 它 是 时 不 变 的 . 

定义 23. 6.2 设 系统 了 满足 

Llimze,tt)] 一 lin LLz, (1}]， 

则 称 *L”* 上 其 有 连续 性 . 

定理 23. 6.3 设 “ 工 ?为 线性 时 不 变 系 统 , 如 果 输 入 为 (一 
e”, 则 它 的 输出 为 

ytt) = Hilwye”, 

其 中 五 (四 是 一 个 复 值 裔 数 , 称 为 频率 响应 函数 ,简称 频率 响应 
(frequency response function). 

该 定理 说 明 , 当 输入 x 人) 是 一 个 简 谐 波 时 ,线性 时 不 变 系 统 
的 输出 仍 是 简 谐 波 , 且 频率 不 变 . 若 

Ht(lw) = A(tw)e™™ 《23. 157) 

则 ACw)= 二 | 五 (tw) | 称 为 系统 的 振 蛋 特性 (amplitude 
characteristic). 0(o) 是 吾 (o) 的 幅 角 , 称 为 系统 的 相位 特性 (phase 
characteristic ). 

定理 23.6.4 设 “L” 是 连续 的 时 不 变 系统 ,具有 频率 响应 
HC 外) ; 当 输 入 为 x(2) 有 时 ,输出 yl 可 表示 为 
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yt) 一 三 责任 一 9)z(s)ds， 
其 中 
h(t) 一 去 |- H (werda. (23. 16) 
2T: _ 
如 果 和 输入 是 -- 个 单位 脉冲 SC Cunit pulse), 则 有 
人 = | hz — ssyds = 页 Cr ， 


所 以 天 (所 可 以 看 上 成 系统 在 输入 一 个 脉冲 单位 时 的 输出 , 故 称 它 为 
脉冲 响应 (impluse response). 脉冲 响应 与 频率 响应 构成 一 对 傅 里 
叶 变 换 . 
23. 6.3 输出 与 输入 是 随机 过 程 情 况 

定理 23.6.5 设 工 是 线性 时 不 变 是 车 均 方 收敛 连续 的 系统 ， 
则 

(1) 当 输 入 码 (是 实 平稳 过 程 时 ,输出 了 Y( 也 是 实 平 稳 
过 程 . 

(2) 里 (与 了 (随机 谱 函 数 之 间 有 


fo 一 EUodgxco， 


其 中 如 (w) 是 系统 的 频率 响应 . 
(3) 六 (和 与 Y(1) 的 谱 联 数 之 间 有 


Fo) = | HO dre. 


《4) 如 果 X(t) 有 谱 密 度 ,那么 Y (2) 也 有 谱 密 度 , 且 谱 密度 之 
间 有 
Sw) = IH | frtw). 


23. 6. 4 平稳 相关 过 程 与 互 谱 函数 


定义 23.6.5 设 Xr 一 {RC 一 oo 十 ce} 7 一 1 人 9， 
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一 ce<t 近 十 co} 均 为 平稳 过 程 , 若 对 任何 六， 
严 [ 和 人 + hy Ys Fh] 一 ELX() YOs)] 
恒 成 立 , 则 称 Xr 与 Yi 平稳 相关 的 (stationary correlative)， 
定义 23.6.7 当 尺 (2), 了 (z) 为 两 个 平稳 相关 的 平稳 过 程 时 ， 
Br(r) = ELXG + rr} YO], 
称 为 总 人 与 区 的 互相 关 国 数 (cross correlation function). 
性 质 23. 6.8 互相 关 酉 数 的 性 质 
(1) Brr(r)= Byxr(—7), 
(2) [Bxr(r) |:SEBx(0) By C0), 
定义 23. 6.9 若 义 Q),Y(#) 是 平稳 相关 的 , 且 


>》，|Bxrkr)| 之 十 oo; 则 


fry A) = 二 Bene ™, — xn (23.17) 


为 囊 ( 区 与 了 (的 互 谱 密度 (cross spectral density》. 
性 质 23. 6. 10 互 谱 密度 的 性 质 
fxr la) 一 万 xf 
一 般 , Ar0) 都 是 复 函 数 ,没有 非 负 的 性 质 . 


对 Bxrtt) 有 谱 分 解 式 为 
Bet) 一 | edEw). (23. 18) 
特别 , 当 Fxv() 绝 对 连续 时 ,更 可 表示 为 
Bit) = | e*fr Vda, (23. 19) 


称 For( 和 为 玉 () 与 Y() 的 互 谱 函 数 (cross spectral function), 互 
谱 函 数 是 有 界 变 差 函 数 ,不 一 定 是 单调 不 减 函 数 . 
定理 23. 6.11 设 和 (7 是 线性 时 不 变 , 晶 对 均 方 收 误 具 
有 连续 性 的 系统 输入 和 输出 ,它们 的 谱 密 度 为 fx CD ,C49. 则 
fy = HOVfx(N), (23. 20) 
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其 中 五 (人 是 系统 的 频率 啊 庶 . 


23.7 平稳 时 间 序 列 的 线性 模型 


23, 7. 1 线性 模型 
设 {zr) 为 一 零 均值 实 平稳 序列 , 它 满足 下 列 差 分 方程 
的 Be, 1 辆 齐 Es 


(23. 21) 

其 中 & 为 正 态 平 稳 白 噪声 ( 例 23.1,6),E(e) 一 0,E(se)=o:, 月 
假定 

Ere) 一 站 (人 <)， (23, 22) 

和 是 数 ，p 9 为 非 负 整数 ,用 BB 表示 

延迟 算 子 ,或 推移 算 子 (qdelay operator;， backward shift 

Operator ) ,Bz —= x 1 Br = zi 并 邻 p(B)=1—9B~ BB: 


一 BB? ,20B) 二 1 一 0.B 一 B' 一 … 一 各 B', 则 式 (23.21) 可 缩写 为 

HB)z, = 305)e， (23. 23) 
满足 上 式 的 线性 模型 常 考虑 以 下 三 种 形式 :AR(p》，MA {tg} 和 
ARNACp ,gq). 


1. 自 回归 模型 -一 AR(p) 

定义 23.7.1 在 (23.21) 式 中 , 若 g 一 0 且 满 足 条 件 : 广 程 
gz) 一 0 的 根 各 在 单位 圆 外 , 则 称 {z,} 满 足 p 阶 平稳 自 回归 模型 
(stationary autoregressive Inodel), 记 作 ARCp) ,其 中 wx) 他 1 一 
2 一 务 避 一 一 yz? 此 时 <23, 22) 成 为 光 有 一 6 称 p 为 模型 的 
阶 , 上 上 述 条 件 称 为 平稳 性 杂 件 (stationarity condition )， 

2. 浓 动 平均 模型 一 一 MA (g) 

定义 23.7.2 在 (23.21) 式 中 ,车 p= 二 0, 且 满足 条 件 : 方 程 
8(z) 二 0 的 根 箔 在 单位 加 外. 则 称 {zx,} 满 足 g 阶 可 道 滑动 平均 模型 
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finvertible moving average model), 记 作 MA(Ce). 此 时 (23. 23}) 式 
成 为 二 一 DCB)e, 称 9 为 模型 的 阶 , 上 述 条 件 称 为 可 道 性 条 件 
Cinvertibility condition ). 

3. 自 回归 滑动 平均 混合 模型 一 ARMA Cp,g) 

定义 23.7.3 设 {zt} 满足 (23.21) 式 ,pCz),8(z) 分 别 满 足 平 
稳 性 , 可逆 性 条 件 , 且 glz) 与 8(z) 天 公共 因子 , 则 称 {z,} 满 足 自 回 
归 一 滑动 平均 混合 权 型 (mixed autoregressive-moving average 
model). 记 作 ARMA(p,q),(p,9) 为 模型 的 阶 . 

Xe 与 & 相互 关系 的 另外 两 种 表达 形式 如 下 :传递 形式 一 一 
ARMA 模型 平稳 解 的 一 种 表达 方式 


z= PBIOB)YE, AYBYE A DB'e, (23.24) 
R= 1 


其 中 (BB) 一 DbB* = yg '(B)IOB). 
下 二 咯 


式 (23. 24) 就 是 (23. 23) 的 传递 形式 . 
逆转 形式 一 一 ARMA 模型 中 的 白 噪声 & 表示 成 x, 的 形式 . 


a = OBABr A Bz AT — Dmbtir, (23.25) 
kl 


其 中 zx(8) 二 1 一 DmBt. 


式 (23., 25) 就 是 (23. 7. 2) 的 逆转 形式 . 
例 23.7.4 平稳 性 条 件 ”AR(1) 模 型 ; 形 如 一 和 x1 二 5 相 


应 的 代数 方程 :gz) 二 1 一 gz 一 0, 其 根 如 一 序 - 欲 使 |z; | 之 1, 只 项 
In| 过 1, 此 有 即 平稳 性 条 件 ， 
23.7.2 ARMA 序列 的 自 相 关 函 数 


1 MA Cg) 序列 的 自 相 关 痛 数 
自 协 方差 函数 为 
“500. 


g(t1 十 全 十 倡 十 … 十 烘 )， k=0, 
re 人 Er ;二 1 


‘OD, kg, 
re 
而 自 相关 函数 为 
1， 
GH O00 “0 
Fe Us 1UkF1 “"" Ed 
PA = IR TE lk, 
kg 
0， 
《23, 26) 


一 站 下 < 
MA (gq) 的 自 相 关 肾 数 ps 在 >g 以 后 全 部 为 零 ,此 性 质 称 为 “ 截 
尾 ” 性 Ceut off) ,这 是 MA(g) 模 型 的 特性 , 

例 23.7.5 自 相 关 录 数 MA(1) 模 型 + 二 6 一 8,-1, 其 自由 
闫 函数 


] ， = 0， 
‘ar 二 士 1， 
. 0， 其 它 ， 
2， AR(z) 序 列 的 自 相关 函数 
AR 序列 的 自 相 关 冰 数 满 吓 差分 方程 


pb: 一 0. (23.27) 


即 oq.B)6==0, 根 据 差分 方程 理论 知 , 当 qxKB) 一 0 无 重 根 时 ,有 
cv: 二 Carz* 十 十 Cap (kp), 
其 中 zi ,zs,*…* ,zs 是 gtB8) 二 0 的 根 ,ccs:…'scs 是 待定 系数 ,它们 
可 由 下 列 方程 组 解 出 , 方程 组 是 根据 ps 二 p 分 别 取 站 一 0,1,2， 
一 1 而 得 . 
* S01] * 


pp 
De 一 1， 
i=1 


Ea 
Dost — zr = 0, k=1,2,, p=1. 
i=1 


当 gB8)==0 有 重 根 , 设 前 > 个 根 相同 . 即 x 二 zs 二 … 三 z,, 则 
Be 二 《0 十 ck 十 于 十 CRI)zi 十 err 十 十 Cos 
利用 pi 的 对 称 性 ,可 求 出 诸 系数 c， 

无 论 oB) 二 0 有 无 重 根 ,ex 都 不 是 截 尾 的 序列 ,但 |pi| 叉 被 负 
指数 隔 数 所 控制 . 这 种 ps 的 尾部 不 全 为 零 ,但 义 被 筑 指 数 函 数控 
制 的 性 质 称 为 * 拖 尾 ” 人 性 (dies cut gradually), 这 是 AR(Zz) 序 列 的 
特性 . 

例 23.7.6 AR 序列 的 控 尾 性 ”AR(2) 序 列 zx, 一 各 Xx_1 一 
9T:_ ;二 5 其 自 相关 函数 满足 方程 p. 一 pi_1 十 久 Pi -a1 上 记 0. 当 
gz 二 1 一 Bz 一 和 x 二 0 的 根 zi 天 zs 时 ,其 解 pi 为 应 一 cz “十 
Ca 一 1 


由 人 
cilzi— zi ) ctr 一) 一 0， 
解 出 ci 一 C2— C2 | cs 志 ] "一 赤 ] 1 


(ze 一 2 一 (zi 一 2 (ei (zai) 


当 Tl 时 ,as 一 (el 十 cs)zT (区 一 1) ,由 Bo 二 二 ,可知 C1 二 1]; 及 


由 p 二 pu 得 = 生计 由 于 1>1, 1%s|>>1, 因 此 ps 总 被 负 指 
数 昭 数 所 控制 . 
3. ARMA Cp,9) 的 自 相 关 函 数 
对 于 ARMA(tp,q) 模 型 ,利用 (23. 24) 形 式 , 先 求 出 z 与 & 的 
互 协 方差 系数 . 
CA 0 


Crt) A E(xers) -人 > 0 《23. 28) 


把 (C23. 21) 式 两 边 同 弱 以 zx, 再 求 均值 ,得 到 
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和 Pr rp 


大 人) 一 dr 1 8) 下 Orelrsk), 让 < 
0 : kg. 
(23. 29) 


故 当 >q 时 ,有 yp(8)pi 一 0. 这 是 类 似 于 式 (23.27) 的 方程 ,关于 
解 的 形式 已 讨论 过 了 . 不 同 之 处 在 于 确定 初始 值 的 方法 . 如 当 g(z) 
一 0 无 重 根 时 ,知道 了 初始 和 值 pp _oi 通 解 就 可 写 为 


一 Doar, 太一 加， 
例 23.7.7 ARMA 模型 的 自 相 关 函 数 ” 求 ARMA (1,1) 模 
型 工 一 0 3x ,一 上 一 0.6e ,的 自 相 闫 函数 . 
同一 0.3<]1:0 一 0 6<]1, 故 满足 平稳 性 、 可 道 性 条 件 ， 
glx) 二 1 一 0. 3x 一 0, 得 与 一 全 .又 少 一 4 一 1 故 对 办 >0, 有 


| 四 | a0. 3 六 
由 ( 例 23.7. 6) yro(zye) 一 GN 一 02( 因 和 一 1)， 
7 和 6) = on. rtx,e) = 0, 
而 由 式 (23. 24), 可 得 多 二 多 一 中 二 一 0,3, 由 式 (23.29) 令 上 二 0,]， 
得 
下 一 0.3 1 = rre) 一 0.Br ze 一 1.18c3， 


-0,3r6 一 人 一 0. frotx,£) =—=— 0. 60s. 
—246,: 
又 训 一 7_1: 解 得 x 二 人 Gi 六 一 9 
故 记 二 一 0, 246; ci 二 一 0. 82, 所 以 
bi 一 一 0,82{0,3)*， 之 0， 


23.7.3 ARMA 序列 的 偏 相 关 了 加 数 


{zi 为 零 均值 实 平 稳 列 ,用 EE 区 作 最 小 
* 5O3* 


方差 估计 , 即 选 择 系 数 Pa :使 得 
AE zx— Dprrs) 《23. 30) 


BEY 
dp 


达到 极 小 值 . 为 此 ,分 别 对 250 一 1, 2 和光 ) 求 3 的 偏 导 数 
并 令 其 为 零 , 得 到 gu 应 满足 的 方程 组 


1 总 Pr—] 并 1 Pad] 
1 , 
几 i (23, 31) 


Rel ra 1 Ft Ps 


定义 23.7.8 设 ij 一 1,2,… 寺 使 式 (23. 30) 达 到 极 小 值 ， 
页 称 序 列 {9w}( 导 宇 1) 为 {xz} 的 偏 相 关 范 数 Cpartial correlation 
function). 方程 组 (23, 31) 称 为 耶 辜 -沃克 (CYule-Walker) 方 程 . 等 
式 左边 的 矩阵 称 为 特 普 利 获 (Toeplitz) 矩 阵 . 

的 概率 音义 是 ;在 给 定 za -ze 的 条 件 下 ,z 与 
x_i, 的 条 件 相 关系 数 , 即 二 (EX, 久 ， ,CE ，EX? 1,) 下 ,其 中 
Rr Er rr 1)， 络 也 是 被 负 指 数 阔 数 所 控制 的 . 

1. AR(z) 的 愧 相关 函数 

将 AR(p) 模 型 x, 一 Vlg, 十 5& 代入 (23. 30) ,整理 得 

(一 Da 一 2 Hire) ) 


1 j= P+1 
点 


十 Ell >», (9 PI Ti > rei) ) = 
j=1 


j= prl 


d= ECs) +2E(el 


I 


EE 


欲 使 8 达到 最 小 值 ,应 使 第 三 项 为 堆 , 故 应 使 


人 1 所 所 户 ， 


. 《23. 32) 
一 0， j= p+1p+ 2 


#5 " 


苹 当 点 之 pp 后 , 必 有 go 二 0; 这 说 明 AR(p) 的 偏 相关 函数 是 “ 礁 尾 ” 
的 ,而且 * 截 尾 ” 处 的 上 值 就 是 模型 的 阶 数 ， 

2. ARMA(D,9) 和 MAC) 的 偏 相 关 函 数 

由 偏 相 关 冰 数 定 义 , 为 使 (23. 30) 中 的 达到 最 小 值 , 需 解 方 
程 组 (23. 31), 即 可 求 出 偏 相关 函数 多 的 值 . 

算法 23.7.9 偏 煌 关 函 数 的 递 推算 法 
公式 如 下 : 

1 


点 
条 -4.1 一 (per 一 Dp ,Pi| 111 jp) 
7 


(Rij 7 = 1 2,k. 
利用 此 公式 比 直 接 用 式 (23, 31) 求 解 计算 量 要 小 . 


23.7. 4 ARMA 模型 的 谱 密度 函数 


定理 23.7.10 设 {x,} 满 足 闫 分 方程 (23.21), 其 中 ie} 是 一 
白 噪 声 序列 ， 


人 
Ele) 一 站 Ege) 一 | 
0， 了 天 1 


gCB) 与 8CB8}) 同 前 . 设 让 (ow) 是 x 的 谱 密 度 , 则 


f= 44 


Ea [OCe-™) | 


f(y) 一 3n ge) ls， 


一 不 入 和 是 这 {23. 33) 


又 23.7.11 设 (z) 满 足 gCB)z 一 5, 则 其 谱 密 度 为 


_ 1 
六 to) 二 元 [Ke | 不 于 T 


系 23.7.12 设 {z) 满 足 8(B)s 二 zx, 则 其 谱 密 诬 为 f,(w) = 


joke-") | rw 


» DO5* 


表 23.2 ARMA 序列 的 分 类 性 质 一 览 表 


模型 
ARtp) MA(e) ARMAr(p,g) 
闫 别 
模型 方程 | (Bx z=0(B)e, (BYr= (Bs 
| 
g(8) 一 0 的 根 
平稳 条 和 B}= . 
件 | 的 模 大 于 1 无 条 件 gl 0 的 根 的 模 半 1 
i 8(B) 一 的 衫 
道 无 (8B}=0 
加 道 条 储 条 件 的 模 大 于 1 的 根 的 横 >1 


rr = FBIO BY), 


传递 形式 | z=g 1(B)6 | 二 一 9CB)e -Dae 

5 ~ OB IPCBY, 
道 转 形式 | = WB)x | 6 = 51(B}z = Dr 
自 相关 函数 | 。 拖 必 。 | ” 截 尾 神 尾 


23. 8 ”模型 的 识别 ,参数 估计 与 检验 

本 节 特 给 出 如 何 由 样本 值 来 识别 模型 并 估计 模型 的 参数 及 进 
行 模型 的 检验 . 
23. 8. 1 自 相 关 与 偏 相关 函数 的 估计 


1. 苞 值 估计 
设 Tl Ty 是 平稳 正 态 序列 {z 的 一 段 样本 值 , YY 为 样 
本 长 度 , 设 Ex 二 jx. 则 样本 均值 工作 为 产 的 估计 , 即 


*。506。 


hz (23. 34) 


2. 自 协 方差 函数 的 估计 
为 方便 计 , 设 {x,) 为 平稳 正 态 零 均值 序列 . 否则 ,可 令 ,一色 
一 工 即 可 得 自 协 方差 函数 的 估计 (estimation of autocovarrance 


fanctiony》 
MN— 


二 Rtes 是 一 0,1,2，… af， (£23. 35) 


D> 


= Fo. 
此 估计 保证 非 负 定性 ,但 只 是 新近 无 偏 的 . ~- 般 取 入 宇 50, 和 常用 
M 一 NN/10 左 右 ,; 不 超过 N/4. 
3， 自 四 关 函 数 估计 所 
自 相关 函数 估计 {estimation of autocorrelation functions》 为 


Ds 一 Ds 一 卫 ， 让 二 O12 sf (23, 36) 
vb 
或 采 于 无 偏 估 计 , 但 不 保证 非 负 定性 . 即 取 
六 一 下 
re = k= O01 A 


(23. 37) 
Pe 一 D2 一 于 Ar 
生 . 仿 相 关 故 数 估计 Pt 
解 方 程 组 
只 1 A Pi fo 
名 | 一 | ， (23. 38) 


ph) Pr prs : 1 
即 可 得 到 qr (全 二 1,2，…) 偏 相关 总 数 的 估计 《estimation of partial 
correlation funetion) 或 用 递 推算 法 23. 7.9 也 可 得 到 %. 
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23. 8. 2 ”模型 的 初步 识别 


根据 ARMA 序列 自 相关 及 依 相 关 务 数 的 截 尾 性 质 , 可 初步 
判别 !z 了 属于 哪 类 模型, 即 初步 的 模型 识别 (model recognition， 
diseriminate of the model). 

1. Pp 截 尾 性 的 判断 

车 {zx 是 一 个 MACg) 序 列 , 则 当 NN 充分 大 时 ,Pi 渐 近 正 态 分 
布 , 即 


pr~N| 0, 训 (1 十 2 >) | ， 
当 4 不 很 大 而 N 很 大 时 , 癌 { 1+2 六 他 < 二 
故 又 可 近似 为 
pr ~ N(O,/AN. (23, 39) 
一 般 对 某 个 选 定 的 9, 检查 Pi, 二 g 十 114 十 2,…,M. 若 满足 |p4 | 下 
2/ VN 的 个 数 在 95% 以 上 , 则 可 认为 b. 是 4g 步 玲 尾 的 ,gq 就 是 模 
型 的 阶 数 ,g 可 从 小 到 大 逐个 进行 检验 确定 . 
2， Pu 截 尾 性 的 判断 
车 {zz 是 … 个 ARCp) 序 州 , 当 NN 充分 大 时 ,也 有 名 潭 近 于 正 
态 分 布 , 即 
pe ~ NC(0,1/N), 
故 仍 可 用 1 中 的 方法 来 判断 pe 的" 截 尾 ” 性 ,并 选 定 p 的 值 . 
3， ARMA ,(p,q) 模 型 的 定 阶 
车 {xz} 的 p; 种 Rs 都 不 截 尾 , 义 被 负 指 数 型 的 数列 所 控制 , 则 
应 判断 为 ARMA 序列 ,但 尚 不 能 确定 阶 数 . 而 由 于 实际 应 用 中 的 
(p19) 一 般 都 比较 低 ,因此 可 采用 从 低 阶 到 高 阶 逐 个 取 (p,9) 为 
(141) ,《1,2) ,C21),… 等 值 尝试 的 办 法 , 即 先 认定 (9) 为 某 值 ， 
然后 进行 参数 估计 并 定 出 模型 ,然后 检验 此 模型 是 否 被 接受 , 若 不 
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被 接受 就 调整 (p,9) 值 ,再 重新 做 参数 估计 和 模型 检验 ,直到 被 接 
受 为 止 . 


23. 8. 3 ”模型 参数 的 矩 估 计 法 


利用 各 种 模型 中 x 或 p 与 模型 参数 的 关系 ,从 估计 r,s 中 
解 出 参数 的 估计 值 .此 称 为 模型 参数 的 矩 估计 法 Cmethod of 
momentls). 

1. ARLp) 模 型 的 参数 矩 估 计 

AR(p) 模 型 为 区 -px 二 &; 待 估计 参数 为 名， 
ps 和 的 Yule-'Walkecr 估计 为 


(9 1 站 Pp i PD 
- 。 | » . 
多 _ 2! Pp—2 Fe ， (203. 40) 
pp 12， 1 Pps : 1 6, } 
A 
本 一 六 一 Spr. 
这 里 ,7 由 (23.35) 和 (23. 36) 式 根据 样本 值 算出 . 
2，MA(9) 模 型 的 参数 符合 计 
MA (gq) 模型 为 x 一 8 一 人 8 1 一 一 避 s 
竺 估计 参数 为 a + a ,六 和 oi. 
由 矩 估 计 式 : 
(Ol 十 贷 十 十 从 )， k= 0， 
5 十 已 i ), 1 和 上 和 
0，, kg, 
《23. 41) 


解 出 如 ,全 ,如 ,…' ,0, 即 可 ,不 难得 到 如 下 关系 : 
= ,0,=1. 


" SO * 


一 _ > 
BO, 一 -一 十 (久久 + 十 … 十 Bb), 1 大 寺 EE 
SE 


上 上 述 产 由 (23. 35) 式 算出 ， 

例 23.8.1 求 MA(1) 模 型 的 参数 估计 由 (23.41) 及 
4 一 1, 有 

6 二 (1 十 社 )， 
上 一 一 六 
由 第 二 式 得 和 = 一 ”> /至 ,代入 第 一 式 化 简 得 (只 天 一 rc 十 二 一 0, 解 
方程 得 芝 一 三 (六 士 V 天 一 晤 》, 故 和 一 一 2Fu/ (六 士 Y 二 一 4) 由 
可 道 性 条 件 , 需 191<1, 故 钠 中 的 分 母 应 取 正 3， 即 有 
全 一 一 zf{; 二 Vr 3 ls 


关于 | 六 二- 好 | 
3、 AARMA (p,qg) 模 型 的 参数 和 矩 估计 
ARMA (p,q9) 模 型 为 7 一 J 各 一 和 一 px 5 二 5 一 el 1 一 
一 6_, 待 估 谷 数 为 ;Bp 太后 和 os. 
首先 给 出 自 回归 参数 8 的 矩 估 计 . 


和 pn pe 六 制 和 Pr 
各 Partl pp, ee by pi2 Frtz 
[2 闻 Py pa : pb, Pie 


再 令 冰 二 二 一 0 其 协 方差 梢 数 为 


本 = ECP) 一 Dre it 记名 = 一 1. 


7 一 月 
rk) 一 3 1 
了 一 用 
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用 有 近似 (23. 21) 式 的 堪 方 , 刚 可 有 MA (gq) 序 州 有 一 94B)e4 用 2 
中 的 方法 求 出 而 ,六 b 种 好 ,从 而 就 求 出 了 ARMA (pp,9) 模 型 
的 全 部 参数 的 矩 估计 
23. 8. 4 ”模型 参数 的 最 小 二 乘 估 计 

1. AR(p) 模 型 参数 的 最 小 一 乘 信 计 

和 ARLp}) 模 型 为 x 一 Doo 十 Ey 令 8= (Pp) Mp 
的 最 小 二 屠 估 计 对 应 使 焉 差 平方 和 Sp) 达到 最 小 ,这 

~ 


SCP) = Er 一 yi [x 一 pr 和 


t=p+1 + 一 卢 一 | J 一 1 


的 近似 解 为 


[0 
oH | 008.42) 
Fp" a 六 2 i 已 
其 中 二 > EA (23. 43) 
fe +1 


此 
今 避 一 五 一 对 tf 二 Pp 十 1;p 十 2 则 


2 


Fr Oo Hr (23.44) 


Pi pi 


2. MA 与 A 9) 模 型 参数 的 最 小 二 乘 估 计 
ARMA(p,q) 模 型 为 


也 上 
XT: Dp; > 06 _， 十 所， 
jl ‘=1 


£ | 
引入 也 数 ft) 一 DO px 一 D> 86 
六 1] ,二 1 


其 中 二 Cr To 7 光一 (后 多 0 
由 ARMA(p,9) 模 型 的 道 转 形式 有 

~ 

一 和 >) Pa 十 了 >) 号 rar ok (C23.45) 

ij 二 一 上 下 一 1 
由 于 只 有 NN 个 样本 ri Ea” xn 上 这 取 当 kD 时 ,x 一 0; 这 样 模 
型 订 写 成 x 二 (ri,) 8p 二 1 和 N， 利用 递 推算 法 可 求 
出 &: 


四 om- :十 Doe 1 一 户 十 1 


(23. 46) 


其 中 规定 :e 如 Eos 7 Ep 0, 残 差 平 方 和 为 


S(. 汤 ) 一 5 e?. 


1pt] 

对 和 舒 一 组 具体 参数 汤 , 便 可 算出 s4 一 1*2，… 入) 和 S{ 且 ), 从 中 
选 出 最 小 的 一 个 SC 多 ) 相 应 的 参数 , 委 , 即 为 所 求 的 最 小 二 乘 估 
计 7. 


NO— & 十 DD 
例 23.8.2 求 MA(1) 模 型 参数 的 最 小 二 彝 居 计 因 p=0， 
所 以 规定 5 二 0, 由 式 (23.46) 递 推 得 
二 ZX 十 全, 一 1， 


外 一 3 十 负 人 6 一 fs 十 包 21， 


oi 一 


二 一] 


= Me = Dr 


一 


于 是 | ， 
SC = Vay l D7 0x). 
要 求 使 5(91) 达 最 小 值 的 信人 作为 的 最 小 二 习 舍 计 . 
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求 3$( 宛 ) 的 最 小 值 问 题 可 采用 动态 规划 中 的 各 种 数值 解 法 或 
其 它 近 似 方法 . 除 模 型 参数 的 上 述 两 种 估计 外 ,还 有 最 小 平方 积 估 
计 和 极 太 似 然 估计 等 . 


23. 8.5 模型 阶 的 确定 


节 23. 8.2 中 给 出 了 MA (Cg),AR(p) 和 ARMA(p,q) 模 型 阶 
的 判定 方法 ,此 外 ,模型 拟 合 的 最 小 信息 准则 (minimum 
information eriterion ) 也 称 点 ka 让 e 人 信 息 准 则 ( 简 记 为 AIC), 也 有 
广泛 的 应 用 . 下 面 给 出 ARMA(p,2) 序 列 的 AIC 准则 . 此 准则 能 
在 模型 参数 极 太 似 然 估 计 的 基础 上 ,对 于 ARMA(p,g) 模 型 的 阶 
和 相应 参数 同时 给 出 一 种 最 佳 估 计 . 1 

设 {x} 为 平稳 正 态 零 均值 的 ARMA (p,q) 序 列 ,对 于 给 定 样 
本 于 jy 二 Cryzaore XTw) , 当 N 充分 大 时 ,ARMA(p,g) 模 型 的 对 
数 似 然 函 数 近 似 地 可 表示 为 


、 ; 5S(%) 
Lx) Nlngr Nn > 03,47) 
2 2 oi 


其 中 六 二 (名, 名， 多 , 抽 , 抽 ，… ,各 ,9) 是 模型 参数 狼 的 近似 极 
大 似 然 估计 ,往往 是 满足 陨 S (多) 一 0 的 解 .而 此 时 宰 一 二 
S( 和 3), 其 中 SCD) 是 平方 和 函数 ,可 证 S( 和 名 ) 一 D3 总 


Ex Xe — GF 一 pra 十 站 6) 十-… FO nt 
(23. 48) 
目 约 定名 二 0,& 访 q ,实际 计算 时 肥 


外 (23. 49) 


式 中 所 由 (23. 48) 递 锥 ,1 的 大 小 仿 模 型 和 数据 的 具体 情况 而 定 ， 
一 般 取 对 一 58 一 109 为 宜 . 
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在 NN 充分 大 则 固定 的 前 提 下 ,ARMA(p,9) 模 型 插 合 的 最 小 
信息 准则 应 使 
AIC A Ning: + 2(p 十 g 十 1) (23. 50) 
达到 最 小 ,与 之 相应 的 阶 数 (2,9) 及 模型 参数 的 极 大 似 然 估计 就 
是 在 AIC 准则 下 得 到 的 理想 阶 数 和 参数 ， 
当 g 二 0 时 , 变 为 AR(p) 模 型 ,此 时 利用 
AIC(p) = Nlnoi + 2(p 1) (23.51) 
去 找 z 值 . 
应 用 此 准则 所 定 的 模型 阶 数 并 不 是 相 容 停 计 ， 且 具 体 运 用 时 
需 人 为 地 给 定 阶 数 的 最 大 范围 ,一 般 取 N,j6 ,InN 均 可 ,目前 
AIC 淮 则 被 广泛 详 用 . 


23.8.6 ”模型 检验 一 一 残 差 的 自 相关 函数 法 


设 初步 选 定 模型 为 ARMA(p,9), 将 入 计 出 的 参数 和 原始 数 
据 代 入 可 得 
EO= A Mr! ‘Oo ore 二 
一 2 
规定 iso 时 ,x 一 0,6 一 0, 于 是 得 残 差 的 样本 序列 s ,8， i 


A R= 0,l,2," MM |w = 站 |， 
ba = ras 
bl 
Quy= DN OY. (23.52) 
若 {&) 是 白 咯 声 序列 , 弄 Qw 一 二 其 Qw 服 从 自由 典 为 可 的 六 
分 布 ， 检验 法 如 下 : 原 假 设 Ho: wr 一 Xi ;给 给 定 显 著 水 平 a， 可 查 出 
访 代 一 o) ,对 给 定 的 样本 值 计 算出 Quw 值 , 若 和 ss 委 2 人 1 一 区， 认为 


所 选 模型 合适 , 若 @s 全 了 恕 (1 一 a), 则 认为 此 模型 不 合适 . 
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23.9 ARMA 模型 的 谱 分 析 


23.9. 1 ARMA(P,9) 模 型 谱 估 计 的 参数 方法 


在 求 出 模型 的 参数 估计 值 后 ,就 可 以 得 到 功率 谱 密 度 的 估 
计 产 Co)， 


pp 
例 了 3. 9. 1 太 RCp) 模 型 ; A Dp 7 汪 EE, 
7=1 


1 
上 一 Doe™| 
7=1 


9 
例 了 23. .2 MA cg) 模型 ， XE De wu 
， t=1 


ftw) = | 1 一 oe 
例 23.9.3 AARMA(typ,9) 模 型 ， 


声 引 
DD gre, 二 一 De 
j=1 点 一 1 
]】 一 DA : 
=] 
六 -~ 
1 Do 
j= 
23. 9.2 谱 估 计 的 非 参 数 方 法 


1. 周期 图 的 谱 舍 计 
定义 23.9.4 设 {z1 是 零 均值 实 平 稳 列 , 给 定 六 个 祥 本 值 
za 在 翅 扯 1 一 rr] 上 ,函数 


1 4 .ia 1 ~ -ike 
Tw) 一 i 如 一 FN | Ze 有 


* 一 贡 扫 生 过 并. 


天 
六 (op = 中 


1 一 下 wT 


2 
了? 


称 为 周期 图 (periodogram)， 

I tw) 可 作为 谱 密 度 f,(w) 的 估计 ,上 且 是 浙 近 元 偏 佑 计 但 不 是 
相 容 和 估计. 

2. 加 窗 谱 佑 计 

对 无 限 长 寻 间 的 信号 作 有 限时 间 截 取 , 称 奶 徐 处 理 . 加 和 窗 谱 估 
计 形 式 为 | 

fx(w) = 去 ™ TiACk)e {23.53) 

其 中 交配 称 为 时 域 上 的 落后 窗 ( 时 滞 窗 ,lag window) 或 用 


六 (ao) = | Ww — OT 0, (23. 54) 


其 中 Ws( 四 称 为 频 域 上 的 谱 窗 六 数 (spectral window function). 
二 者 关系 如 下 : 


1 一 i 
Wa(0) = AR)e ss rn, (23,55) 


dis; 二 ew odo, 上 二 0, 十 1]; 土 2,'"; 土 CN 一 11). 


谱 窗 因子 的 选择 原则 和 fw) 具有 的 重要 性 质 可 参看 有 关 文 献 ， 


几 种 常用 谱 窗 函数 如 下 
(1) 截 尾 窗 
T1， || 二, 
A(k) = | MN—1. (23.56) 
vo | 04， 
| sin| M 十 二 | 8 
W (#8) = pr = 一遍 二 了 = 站 (CD)， 
《2) 巴特 莱特 (Bartlett) 窗 
| 站 | 
1] 一 上 =-， 快 | 所 则 ， 
ACk) 一 M (23.57) 
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M 


1 2 | ， 
WI = 款 形 | 一 本 | = wd) 
Sttt 一 一 
(3) 丹尼尔 (Daniell) 窗 
Sin -fw 
48) = Er’ 
nM Tm 于 
和 
wo ~ | MSN 
0， 其 它 ， 
(4) 一 般 图 凯 (CTukey) 窗 
TE - 
一 | 和 MM, 
Ab) = 0s Wy | (23. 58) 
I£| =M 
0， 
WA) = aDy| 0 CO— 大 | 十 (1 一 2227 十 aDu| a 十 站 | 。 
《5) 哈 明 (Harmming) 窗 
TE 
. 0.46 cos 7， |*| 志 MM， 
MD = 1 cos Mr Kl (23. 59) 
| 并 | > M. 
0， 
(6) 哈 宁 (Hanning) 窗 
1i 由 | , 
二 2 MM 
CR = 4 2 1 teos 到 | I< (23. 60) 
法 | > M. 
0， 
(7) 由 和 森 <Parzen) 向 
| 页 1 /| 下 | 1s M 
1 一 引 下 | 二 6 让 | ， |#| 所 祥 
一 4 | 3 M 
"二 21 一 上 各 )， < kM, 


| 半 AM. 


(OO, 
(23, 61) 


"S17 


(8) 巴特 莱特 - 痊 利 斯 特 利 (Bartlett-Priestley) 窗 


Mi | Maw! °| Tt 
一 一 | 】] 一 To » 及 | 
WO) -2 | | i» le (23. 62) 
0, [2 = x/M. 
[sin 好 
3M: M RT|. 
AC) 一 Cerny | 三 一 cos jy 
i M 


23. 10” 非 平稳 时 间 序 列 的 线性 模型 


23. 10. 1 ARIMA 模型 


定义 23, 10.1 设 亿 } :二 1,2,…, 为 一 非 平稳 列 , 存 在 正 整 
数 4 ,使 得 人 "2 一 zt 守 d) ;是 一 个 ARMA (p,q) 序 列 , 且 假定 z,， 
zas sza 的 五 Zi 一 0 五 1 一 后 又 与 12>d 后 的 x 无关, 则 称 12,) 为 
4 阶 求 和 序列 ,d 为 求 和 阶 数 ,相应 模型 为 自 回归 集成 滑动 平均 模 
型 (autoregressive integrated moving average model) 记 作 
ARIMA(b ,da) ,其 中 Y" 为 台阶 差分 算 子 : 

Y=] — BY =i1— CB+CB + 
十 【一 1 人 CTB3 十 【一 二. 
这 里 对 x, 而 言 ,有 9B)x=0CB)s (ad)， 
对 z 而 言 , 有 qqCB}YV w=0B)e (td). 

由 于 这 类 求 和 模型 可 化 为 平稳 序列 模型 , 故 对 它 的 建 模 , 预 报 
等 与 ARMA 模型 没有 本 质 的 不 同 . 

例 23.10.2 ARIMA(0,1,1) 模 型 为 二 一 zl 一 日 一 让 -1， 
ft 二 9.935 和 N, 邻 可 包 一 2 一 1 二 Xx- 故 有 一 & 一 上 61 是 MA(1) 
模型 ,化 为 ss 一 zi 十 ee- 得 
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SO) = Sle, a=0, 


23. 10.2 季节 性 模型 


设 {z,} 是 一 随机 序列 , 苦 它 符合 如 下 形式 的 模型 ， 
DBIV HE, = OB YA,, C23. 63) 
则 称 z, 是 局 期 为 * 的 季节 性 序列 ,此 称 为 季节 性 模型 (seasonal 
model), 其 中 
六 一 1 一 序 ， Vi= (iB)", 
BBY=1— GB BB" BB) 1 O81, 
车 也 ==0, 还 应 考虑 形 如 


DEBYVZ, = et OLB 4， (23. 64) 
的 模型 . 4, 可 以 是 另 一 个 ARIMA(CP ac) 序列 ; 
PBT A, = 80)8. 《23. 65) 
联合 式 (23. 64) 与 (23, 65) ,可 得 
p(BIBCB YY, = (BIOCB YE, (23. 66) 


其 中 二 VAV ?zg. 
式 (23.66) 称 为 苹 积 型 季节 性 模型 (multiplicative seasonal 
model) ,其 阶 数 表示 为 (p,d,9) XP,D,Q). 

例 23. 10.3 季节 性 AR(1) 模 型 为 z 一 sz_12 一 6: 其 中 为 
白 噪声 序列 ,其 自 相关 函数 

Pak 二 对 :下 一 1,2,…, 其余 Pi 一 0. 
例 23. 10.4 滁 积 型 季节 性 模型 (0,1.1)X(0,1,1) 为 
{1 — BC — Bz = (1 — QB — Bes, 


z= (1 — Bl 一 站 zs， 


T= (BIC — OB Ye, 
= {1 ~ Bo DB: Be, 
= 6 hel Oo es ct Doe, 13. 
经 计算 得 
A 
所 一 二 


一 1 三 仿 ' P11 二 pis 二 PL* Pz; 其 余 一 0. 


» 2 * 


24 ”马尔 可 夫 过 程 和 马尔 可 夫 链 


马尔 可 夫 过 程 (Markov processes) 是 这 样 一 类 随机 过 程 ( 定 
多 21.1.6): 已 知 现在 的 值 时 ,过 程 的 过 去 与 将 来 独立 . 此 类 过 程 
广泛 用 于 描述 随时 间 进 化 的 无 后 效 系 统 , 它 最 先 由 俄国 数学 家 ^， 
A，Maptos 研究 .通常 将 参数 集 种 状态 空间 (定义 21. 1， 6 都 离散 
的 马 尔 可 夫 过 程 称 为 马尔 可 夫 链 (Markov chain) 或 简单 地 称 为 马 
氏 链 . 

本 章 中 不 特别 指明 时 ,所 讨论 的 过 程 都 定义 在 给 定 的 概率 空 
间 上 . 


24. 1 马尔 可 夫 链 
24.1.1 定义 和 例 


设 了 为 一 可 列 集 ,N 二 {0,1,2,"…*). 

定 闵 24. 1.1 取 值 于 I 的 随机 变数 列 ! 和 .jsea 称 为 一 个 马尔 
可 夫 链 (Markov chain ). 如 果 对 任意 nEN,iETv=0,11* ,十 
1, 有 


五 { 其 = i [Ns = 和 一 
一 已 (和 = brilX. = it. 
只 要 上 式 左 方 有 意义 ; 则 称 为 马尔 可 夫 性 (Markov 
property) ;下 式 等 价 于 马尔 可 夫 性 ， 
PlXite 一 i | 一 fa Rn 一 Ln" sl 一 1 
一 P{KRats = frrl Xs = i (24.1) 
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其 中 疙 nzENAO)CDDEN BvD ve) 0 ) nb EE 
Tj—l st, 
例 24.12 设 有 无 穷 多 个 倪 , 标 有 号 码 9,1,…, 第 个 舍 中 
放 有 比例 为 p, 和 5 的 白 妹 和 黑 球 ,0 一 记过 1 加 十 9 一 1 自 第 0 
个 仁 开 始 , 从 中 摸 出 个 球 , 其 中 心 个 为 犁 球 ,接着 从 第 1 个 管 中 
措 出 局 个 球 , 若 有 7s 个 基 白 球 , 则 从 第 2 个 竹中 措 出 i 个 球 , 一 般 
第 = 个 伪 中 摸 出 的 百 球 数 即 为 第 2 十 1 个 管 中 应 摸 花 数 , 直 至 儿 出 
白 球 数 为 零 止 . 以 四 , 表示 第 个 人 泡 中 找 出 的 和 白 球 数 ,显然 有 
P{X,.41 = 2X, = i 一 和 1 一 
es 
=- i 
一 p{Xl 一 有 一 i， 
故 { 和 ,js 是 一 个 马尔 可 夫 链 . 


24. 1.2 转移 概率 


定义 24.1.3 对 任意 i,jET,mwnEN, 记 
Pn}= P(X,_, = j|X, = i),， 
《一 《we (24. 2) 
称 aPayCa2[sPln)j 为 马尔 可 夫 链 的 步 转移 概率 [xn 步 转移 概率 
筷 阵 ]{n-steps transition probability[Lmatrixs |). 当 n= 二 1 时 简称 
为 转移 概率 (矩阵 ,并 记 成 .PP 和 ,。P. 
性 质 24.1.4 由 定义 知 对 转移 概率 成 并 以 下 式 子 : 
(1) Pym 0 nmEN, i,jET: 
(2) > Ps) =1, nmENiEl; 


JE 了 


(3) Paola + a) 一 DaPaln) + aPi(n'), 


gET 


man’ 人 Jr El. 
上 式 称 为 查 普 受 - 科 尔 葛 姜 多 失 (Chapman-Kolmogorov ) 方 
= 


程 ,简称 C-K 方程 . 

一 个 马尔 可 去 链 的 有 限 维 分 布 族 由 基 , 的 分 布 及 转移 概率 算 
阵列 {4 了 P}wes 完 全 岂 定 ,前 省 称 为 初始 分 布 Ginitial distribution}， 
后 者 是 马尔 可 夫 链 理论 中 主要 研究 对 象 . 


24. 1. 3 ” 齐 次 马尔 可 夫 链 


1. 章 次 马尔 是 夫 链 定义 和 存在 性 
定义 24.1.5 若 马 尔 可 去 链 {X) cn 的 转移 函数 满足 : 
一 PN 

则 称 1X.}en 为 齐 次 马尔 可 去 链 (homegeneous Markov chain). 此 
时 记 Pi 二 oPasP 二 (Pyer: 分 别称 之 为 齐 深 蕊 尔 可 去 链 的 转移 
概率 和 转移 和 矩 阵 . 

以 下 不 特别 说 明 时 所 考虑 的 马尔 可 去 链 均 是 齐 次 的 . 

齐 次 马尔 可 夫 链 的 有 穷 维 分 布 由 初始 分 布 和 转移 概率 矩阵 P 
完全 决定 , 友之 亦 然 , 因 为 有 存在 定理 ， 

定理 24. 1.6 存在 定理 ” 任 给 概率 分 布 {9je: 及 满足 0 所 PP; 
所 1 和 Ps 一 1，iET 的 矩阵 已 = CP)ven 则 存在 概率 空间 


(0..F,P) 及 其 上 的 齐 次 马尔 可 夫 链 {X,}.ew 以 了 为 状态 空间 ， 
{gijiei 为 初始 分 布 ,P 为 转移 概率 矩阵 ， 

2. 高 阶 转移 矩阵 的 计算 

车 马尔 可 夫 链 的 状态 空间 了 为 有 限 集 , 则 转移 矩阵 已 是 有 穷 
冠 阵 ,此 时 可 以 通过 计算 亚 的 特征 根来 求 高 阶 ( 即 多 步 ) 转 移 矩阵 
Pn) ,这 在 实际 问题 中 很 有 用 

设 P= (Pu)ws 有 ，# 个 到 不 相等 的 特征 根 入 ,… ,入 , 则 mm 阶 转 
移 概率 


Pa = DAAIR/A TT 0) (24,3) 
点 一 1 i-=1 
ial 


* 223。 


1 和 了 m=l,2., 
其 中 A;(20) 是 (WE 一 P) 是 第 (j, 门 个 元 素 的 代数 侠 子 式 . 
对 有 重 特征 根 情形 亦 可 推导 类 似 的 公式 . 
设 马 尔 可 夫 链 {X, ew 的 转移 矩阵 为 P 一 CP)ier'n 阶 转移 
矩阵 为 了 P(x) 二 P= 二 (Pn jjer: 
注 记 号 24. 1.7 
fi = PX = jrRos j= ln 1|X, C=. 
f=0n 守 1l, IIELl. 


fo= Df = Daf, i ji€ET. 
易 见 /名 为 过 程 自 i 出 发 经 步 首 达 状态 j 的 概率 ,而 六 为 经 有 很 

定义 24.1.8 (1) 称 状 态 : 为 党 返 态 (recurent state) ,如 果 
六 二 14; 常 返 态 ; 称 为 正常 返 (pesitive recutrent) ,车 上 所 cc; 否则 称 
7 零 常 壕 (nul] recvrent). 

(2) 若 集 {xn:n 宇 1} ,Paln) 疡 0) 关 8, 称 该 集合 的 最 大 公约 数 
4d 二 dd( 引 为 i 的 周期 (period) ,d 记 1 时 称 i 为 周期 的 (periodic). 

(3) 称 非 周 期 { 即 a=1) 正 常 返 态 为 遍历 状 坊 Cergodic state). 


定理 24.19 i 常 返 车 > Pin) = coo; 若非 常 返 之 


2 Pu) — I 二 了 
下 面 定理 可 以 判别 常 返 态 是 否 为 零 常 返 或 遍历 . 
定理 24.1. 10 
(1) i 常 返 目 有 半期 d .MlimPi nd) —d/ ip, 
(2) 设 i 常 返 , 刚 1 零 常 运 富 limPutn) 二 0,1 遍历 SlimPr(n) 
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4. 状态 空间 的 分 解 

利用 转移 概率 的 性 质 可 以 将 马尔 可 夫 链 的 状态 空间 分 解 成 -- 
些 基 本 集合 ,同一 集合 中 状态 将 具有 某 些 共同 的 概率 特性 . 

设 1,jET, 兰 存在 # 宇 1 使 也) 守 0, 则 记 i1 一 ); 如 i 一 j 同时 
ri 为 ir 

定义 24. 41] (1) 没 CCT 若 YIECWETACEF 不 成立 ， 
刚 称 C 为 闭 集 (closed set). 如 单 点 集 全 ) 为 闭 集 , 称 i 为 吸引 访 
《absorbing state )， 

《2) 称 状 态 和 了 同型 (same typbe), 如 果 它 们 具有 相同 的 周 
期 并 且 具 有 相同 的 常 返 性 ( 即 同 为 常 返 或 非常 返 , 常 返 时 同 为 正常 

《3) 闭 集 C 称 为 不 可 分 (irreducible) , 若 YiyECie 疡 具有 
不 可 分 状态 空间 的 马尔 可 夫 链 称 为 不 可 分 马尔 可 夫 链 
tirreducible markov chain). 

现 将 状态 空间 进行 分 解 ， 

定理 24. 412 状态 空间 可 以 分 解 为 有 限 或 可 询 多 个 互 不 相 
交 的 子 集 也 ,CL,C,,… 之 并 ,使 得 ; 

C1) C。 是 常 返 仿 组 成 的 不 可 分 闭 集 ,n 宇 1. 

C2) Cs 中 的 状态 同型 ,n 宇 1. 

(3) 万 中 状态 非常 运 , 且 Y i ED 了 EC nn 一 1,2, 7 太 2( 即 
ji 不 成 立 ),. 上 述 分 解 是 唯一 的 . 

状态 空间 的 这 种 分 解 把 马尔 可 夫 链 分 解 成 一 些 更 基本 的 链 ， 
例如 它 在 C, 上 的 运动 就 可 视 为 一 个 以 C; 为 状态 空间 的 马尔 可 闪 
链 . 从 这 个 观点 ,不 可 分 马尔 可 失 链 是 最 基本 的 链 . 下 面 定 理 刻画 
了 这 种 链 的 运动 情况. 

定理 24. 1.13 周期 为 @ 的 不 可 分 马尔 可 夫 链 ,其 状态 空间 
可 以 唯一 地 分 解 为 4 个 互 不 相交 的 子 集 忆 ,之 并 : 
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C -Ue, 

使 自已 ,中 任 --- 状 态 出 发 ,经 一 步 即 转移 到 Ci 中 (约定 Ce 一 Co 

5， 渐 近 性 上 质 

实际 应 用 时 常常 关心 转移 次 数 较 大 时 状态 之 间 的 转移 情况 ， 
因此 需 考虑 Px) 的 极限 性 态 . 我 们 有 

定理 24. 1.14 (1) 若 7 非常 返 或 零 常 返 , 则 YEE7 

limP,, Cn) 一 站 
(2) 着 了 正常 运 , 周 期 为 4, 则 ¥ i EI 和 Orsd& 一 1, 有 


limPi{nd + 7) = flr) 4， 


其 中 
flr) 一 DY ft, 
(3) YirjEI 
. 1 了 fi j 正常 运 ， 
lim 一 > ,P(tk) 一 _ > ， 
名 元 名 总 人 一 10。 7 非常 返 或 只 常 返 
6. 平稳 分 布 


定 久 24.1.15 设 (Pirer 为 马尔 可 夫 链 {X。}.ew 的 转移 概 
率 ,fxsjacz 为 非 负数 列 , 若 满足 : 


Dx 一 1 ， 


KET 


DomiPi 一 As REI, 


KET 


则 称 {xe jer 为 {X,}en 的 平稳 分 布 (stationary distribution). 
通常 一 个 马尔 可 夫 链 不 一 定 具 有 平稳 分 布 , 但 对 一 些 特殊 情 
形 ,结论 是 肯定 的 ,我 们 有 
定理 24. 1.46 (1) 有 限 马 尔 可 去 链 的 平稳 分 布 恒 存 在 . 
C2) 设 { 及 ,jes 不 可 分 且 所 有 状态 都 是 遍历 的 , 则 它 有 唯一 平 
= 226。 


稳 分 布 ,此 分 布 为 


它 是 下 述 方程 组 的 唯 -- 解 ， 
”Pr 0 直 忆 了 了， 世上 


此 定理 告 诉 我 们 ， 不 分 遍历 链 的 极限 分 布 是 平稳 的 ， 因此 当 
7 充分 大 时 可 用 此 平稳 分 布 近似 链 的 一 维 分 布 , 前 者 可 通过 求解 
方程 组 得 到 . 此 外 jp 也 是 一 个 很 重要 的 量 , 它 是 自 & 由 发 再 次 回 
到 大 的 平均 时 间 , 此 处 再 次 得 到 它 的 计算 方法 . 


24.1.4 在 遗传 学 中 的 一 个 应 用 


马尔 可 夫 链 理论 广泛 应 用 于 物理 .化 学 .工程 .生物 .医学 及 经 
济 等 领域 ,这 里 举 - -个 生物 遗传 中 应 用 的 例 . 
遗传 的 一 个 要 素 是 染色 体 , 每 一 个 生效 细胞 只 有 一 -组 单一 的 
染色 体 , 称 为 单 倍 体 . ~- 个 后 高 分 别 继 误 了 来 自 父 母 的 两 组 染色 
体 , 称 为 一 倍 体 . 遗传 性 质 的 携带 者 称 为 基 央 ,它们 位 于 染色 体 上 ， 
基因 是 成 对 出 现 的 .一般 地 成 对 的 基因 中 每 个 可 以 取 两 种 不 同形 
式 ( 等 位 基因 ?4 和 a. 在 一 个 总 体 中 基因 4 和 e 的 比例 是 基因 频 
率 , 记 为 p 和 g. 两 种 壬 位 基因 可 形成 对 应 于 特定 位 点 的 三 个 基因 
型 ,44,4a 和 aa,42 个 体 具 产生 有 4 配子 ,aa 个 体 只 产生 < 配子 ， 
Aa 个 体 产 生 数 目 和 相等 的 4 配子 和 a 配子 . 
考虑 一 个 群体 ,其 中 雄性 和 由 性 的 基因 型 频率 分 布 同 为 : 
44 Aa :aa=d :2h :ndi2h 二 r 二 1, 4 和 和 a 的 基因 频率 为 : 
让 一 下 十 和 得 C 一 下 十 r 
假设 配 侦 是 随机 形成 的 且 相 五 独立 5 称 为 随机 交配 ) ,那么 一 个 后 
裔 和 具有 基因 4 的 概率 为 ,具有 基因 型 44 的 概率 为 产 , 燃 似 可 
计算 出 它 具 有 基因 型 4a 和 aa 的 概率 分 别 是 2ze 和 og*. 
为 了 用 马尔 可 去 链 来 措 述 一 个 给 定位 点 上 的 遗传 过 程 , 用 1， 
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2,.3 表示 三 种 基因 型 A4,Aa,aa; 用 表示 纵 定 一 个 上 代 ( 父 与 
母 ) 的 基因 型 ; 时, 后裔 出 现 基 因 型 ; 的 概率 . 以 一 对 母子 为 例 , 设 
Po 一 已 (孩子 有 基因 型 | 母亲 有 基因 型 站 


zj 一 1 2 3， 
一 步 转移 概率 矩阵 为 
pu Piz ps 
P= pa pz pasl. 
Pa bPss paa 


可 以 通过 计算 相应 于 频率 4 ,24 ,7 的 母亲 A4A4A,Aasaa 的 所 有 可 能 
基因 型 来 确定 疡 * 比如 为 使 孩子 有 基因 型 44 , 它 必 须 从 其 母 处 以 
概率 172 继承 一 个 4 基因 ,并 (通过 其 父亲 } 从 男性 群体 中 以 概率 


得 到 另 一 个 4 基因 ,因此 加 ,一 立 己 ,类 伏地 得 出 


FF 9 0 

1 1 1 
Pz 2 29 

0 p 9g 


由 尼 可 以 求 出 二 步 转移 概率 惩 阵 下 (2), 它 反映 从 祖父 母 到 孙子 、 
孙女 的 转移 ,一 般 地 Ptn) 反 蜡 祖 先 到 其 x 代 子 孙 的 转移 规律 , 显 
然 Pt{n) 二 P*, 因 此 ， 


P 9 0 
Pin) = 5p 去 9| . 
0 pp 9 
利用 式 (24. 1) 的 方法 (或 用 归纳 法 ) 得 到 
p+pq/2" 2pg+atg— pp) /2 gg /2"! 
Pln)= pptp—q) /2 2pqt (pa)/2" g++q(p—gq) /2"|. 
Pp/ 2patplp—a) /2 qtpa/2" 


显然 对 i 二 1,2,3 都 有 》) pwtn) 一 十 co 。 因 此 所 有 状态 都 是 
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常 返 的 .又 当 充分 大 后 pi pan 十 也 042 二 112,3. 故 有 所 有 状 
态 都 是 非 周 期 的 ,由 性 质 24. 1.4(3) 及 pi(n) 六 0tn*o0), 对 i 一 
1,2,3 成 立 , 因 此 所 有 状态 正常 返 ,从 而 这 是 一 个 不 可 分 的 遍历 号 
尔 可 夫 链 ,直接 取 极 限 求 得 它 的 唯一 平稳 分 布 ; 

Tp N= 2py, T= q., 
于 是 得 出 每 个 状态 的 平均 返回 时 间 : 


内 = 点 ， 忆 一 
1 p: 2 


1 1 

3659” 总 

这 说 明 : 一 个 群体 中 4 基因 越 多 ,基因 型 44 所 需 的 返回 时 间 的 
平均 值 ( 换 代数 目 ) 越 小 ,而 当 p= 二 g 二 1/2 时 ,Aa 型 基因 的 最 小 期 
望 返回 时 间 pz 二 2《 代 ). 

最 后 由 平稳 分 布 定义 ,对 Y n,， 有 
A; 一 Rips(n) 十 mpo tr) Apstn), 一 1123， 

即 链 的 一 维 分 布 恒 为 (p!,2pq,g), 换 句 话 说 ,虽然 随机 交配 一 代 
复 一 代 地 进行 着 ,但 平稳 的 基因 型 分 布 (p',2pq,y) 却 永远 保持 . 
这 再 次 肯定 了 了 哈代 - 魏 因 贝 格 CHardy-Weinberg) 的 平稳 定律 ;不 论 
父母 基因 型 频率 (d,24,r) 是 什么 数值 ,在 随 宙 交配 的 假定 下 ;第 
一 代 继 承 者 将 有 基因 型 频率 (p*,2pg ,9’), 且 此 频率 将 永远 保持 


24. 2 可 列 状 态 马 尔 可 夫 过 程 


24.2.1 定义 


定义 24.2.1 “〈 吕 ,多 ,P) 为 一 概率 空间 ,定义 于 其 上 ,以 了 一 
[o,ee ?为 参数 集 , 以 可 列 集 工 为 状态 空间 的 随机 过 程 {X,jer 称 为 
马尔 可 夫 过 程 (Markov processes) ,如 果 它 满足 :Y n>1 及 ET， 
i T= 1 yn 内 要 P(X, =i,y 二 1]， 
一 1)>0, 就 有 
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PX, 一 站 和 = i = 1 1) 
= PLX, = i|X,., = 1) (24. 4) 
通常 也 称 状态 空间 可 列 的 马尔 可 夫 过 程 为 具有 连续 参数 的 马 
尔 可 夫 链 (Markov chain with continuous barameters).〔24. 4) 式 
称 为 马尔 可 夫 性 , 


24. 2.2 转移 函数 


蕊 杀 可 失 性 使 得 可 以 用 形 如 已 (和 一 用 各, 一 站 的 条 件 概 率 来 
表示 过 程 的 有 限 维 分 布 , 这 使 问题 大 为 简化 类似 马尔 可 夫 链 ,对 
马尔 可 去 过 程 { 世 jery 引 入 下 面 的 概念 . 

以 下 写 PCX,= 着 六 ,== 门 时 ,表示 此 条 件 概率 是 有 定义 的 . 

定义 2422 记 Py (st) = P(X =I| X= i), 
1 jET,sSLET, 称 为 马 尔 可 夫 过 程 {X,)cr 的 转移 函数 (transition 
function), 而 称 Pt) 一 (Pit))iuer 为 转移 函数 乱 阵 
(transition function matrix). 

性 质 24. 2.3 

(1) OP (st El ijEl, st, ET 


(2) WP) =1, i€ET, < 


eT 


(3) ¥ 0 和? teET 和 i jET1: 有 
Ptsst) = DPals i) Poa,t). (24. 5) 
RE 


C4) Pils 5) =6,, irjET, sE1. 
C24. 5) 式 也 称 为 查 普 曼 - 科 和 尔 葛 戈 罗 夫 方程 , 它 是 马尔 可 夫 过 
程 中 的 基本 方程 . 
利用 转移 函数 , (X,}jer 的 有 限 维 分 布 表 为 
已 (ze 一 ia = ss, 一 2 


一 1] 
= Ba = to) [ [Po sier hasters) (24. 6) 
二 一 放 
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因此 车 x 的 分 布 给 定 ,转移 消 数 完全 决定 马尔 可 夫 讨 程 的 有 
腿 维 分 布 . 
24. 2.3 罕 在 性 


转移 函数 5 算 苏 ) 的 概念 也 可 以 独立 于 马尔 可 夫 过 程 给 出 ， 

定义 24.2.4 称 严 xf :stET,s 安 1) 上 的 实 函 数 
Dts st 为 一 个 转移 函数 , 若 它 满足 性 质 24. 2. 3 的 (1) 一 《4). 车 条 
件 (2) 中 等 号 改 为 不 等 号 “ 志 ”, 则 称 Pb 为 次 转移 男 数 
Csub-transition function )， 

显然 ,一 :个 马尔 可 夫 过 程 的 转移 函数 是 转移 函数 . 若 马尔 哥 夫 
过 程 可 能 在 某 个 时 刻 从 状态 空间 中 消失 (也 称 中 断 ), 则 它 的 转移 
销 数 是 次 转移 孙 数 . 对 于 反面 的 问题 ,有 下 面 的 定理 

定理 24.2.5 设 已 给 TT 上 的 一 个 分 布 {g;}er': 妈 满足 9; 实 0， 
9 = 1 的 实数 列 , 以 及 转移 画 数 已 (sjETeETeSD， 


则 在 在 概率 空间 ({, 玉 ,PP) 及 定义 于 其 上 的 马尔 可 夫 过 程 
(jery 使 (有 er 以 19jsr 为 初始 分 布 , 以 Pi(s ,7) 为 转移 旺 数 . 

由 于 次 转移 函数 可 以 在 状态 空间 引进 附加 状态 使 其 成 为 转移 
函数 , 故 定理 对 次 转 称 阔 数 也 成 并 ,不 过 若 仪 考虑 状态 空间 了 , 相 
应 的 马尔 可 夫 过 程 是 中 断 的 . 


24. 2. 4 密度 函数 


虽然 转移 函数 (加 上 初始 分 布 ) 完 全 决定 一 个 马尔 可 去 过 程 ， 
但 在 连续 参数 情形 ,不 论 在 理论 上 还 是 在 实际 应 用 中 , 要 获得 一 个 
转移 函数 是 比较 困难 的 ( 除 特 殊 情 形 外 ) ,因此 转 而 考虑 能 (在 一 定 
条 件 下 ) 决 定 转移 函数 的 有 关 量 . 为 此 引进 下 面 的 概念 . 设 P(s ,1) 
二 (Poy(s, 四 ) 为 转移 矩阵 . 
定 尽 24.2.6 设 对 i,jE7, ET, 极 限 
* 31. 


lim PP 人 一 上 全 十 ) 一 人 
有 | 站 十 十 


5 一 0 或 = 
都 存在 , 则 称 孙 数 矩阵 Q(5) 二 (qi(3)9) ,el 为 Pls,t) 的 密度 函数 和 矩 
阵 kdensity function matrics )， 
性 质 24. 2.7 转移 函数 矩阵 的 密度 函数 矩阵 的 性 质 
YirE7 se, 
<0， 如 一 省 
0 
Sa 0 iEL. 


密度 六 数 具有 明确 的 概率 意义 . 下面 说 明 这 一 点 . 
注 记 号 24.2.8 ai 一 一 os)， 


= gits) (24.7) 


ooc| 


SO.;, 若 gq:{s) = 人 0， 
ils) = 4 gols) 
gs 1 一 6,), gi:(s) 和 天， 
则 有 Palsst) = 1 — (gs) + oll)) CG ~ s). (24. 8》 


即 git 一 5 十 o(1 一 ;是 s 时 位 于 状态 i 的 条 件 下 时 刻 : 不在; 
的 概率 . 而 对 z 天 7 


。 Pulsst) -十 
Gl) 一 lm 一 若 g(s) 关 0， 
’ 一 Pass 


5uls) 可 看 作 下 述 捉 件 的 概率 :系统 于 s 时 位 于 状态 :已 知 发 生 跳 
路 ,于 :时 刻 跳 到 j 的 概率 ( 当 t 趋 近 于 :时 ). 


24. 2.5 向 前 向 后 方程 


由 于 一 个 转移 函数 (矩阵 ) 的 密度 沙 数 (矩阵 ) 易 从 实际 观测 求 

得 , 故 使 人 们 感 兴趣 的 问题 是 , 任 给 一 个 满足 性 质 24. 2.7 的 函数 

和 矩阵 8(s)( 称 之 为 密度 函数 矩阵 ) ,是否 存在 转移 矩阵 PCs,t) 以 

Qts ?为 密度 定 阵 ?在 解答 这 个 问题 以 前 自然 想到 :如 何 从 一 转 称 函 

数 的 密度 函数 反 解 出 该 转移 函数 ? 下 面 的 定理 在 一 定 程 度 上 给 巴 
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问答. 


定理 24.2.9 (1) 攻 对 i,7ET,1ET,Pi(s,t) 作 为 :的 殉 数 
在 了 上 关于 ;一致 右 连 续 ,(24. 7? 式 中 极限 关于 j 一 致 , 则 


可 天 .Cs 
OO = Ps st) 一 Ts CSIP (ss) ], 
| 3s 2 《24. 9) 


Pi 一 Di st jELl, 
(2) 若 Pitssf) 作 为 1 的 消 数 关于 jE 了 在 了 上 一 致 左 连续 且 
《24.7) 式 中 极限 关于 了 是 一 致 的 , 且 supeiGs)<c ,人 了, 则 有 


| 一 一 QtPiifstty 十 2 Do Puls,t) ， 
PE) = st if el. 
(24, 10) 

上 述 a; 和 由 24.2.8 定义 . 

式 (24.9) 称 为 向 后 方程 组 (system of backward equations )， 
式 (24. 10) 称 为 向 前 方程 组 (system of forward equations). 它们 
是 科 尔 莫 戈 罗 卖 于 1931 年 获得 的 ,故常 称 为 科 尔 黄 龙 罗 夫 方 程 
组 ， 


24. 2.6 最 小 过 程 


设 80430 一 (9sts))ije 1 是 满足 性 质 24. 2.7 的 痛 数 窍 阵 , 即 Q(s》 
是 一 个 密度 和 矩阵, 下面 的 定理 说 明 只 需 加 上 自然 的 限制 它 就 可 成 
为 某 转 移 函 数 的 密度 ， 

定理 24. 2. 10 假设 对 固定 的 i,j€E1T,gsCs) 是 :的 博 雷 尔 可 
测 函 数 , 且 9;C5) 在 工 的 任 一 有 限 区 间 上 可 积 , 则 存在 次 转移 聘 数 
和 拒 阵 Pots ;一 (Pils 352i,er’y 它 以 QC0) 为 密度 矩阵 , 且 满 足以 下 
方程 : 


+ 
Plst) 一 他; 十 {au DS Py)gake), 
EI . 
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Post = ,+ [a Sou Puts). 


EE 
此 外 每 一 个 满足 上 面 方 程 的 次 转移 函数 PCs,t) 光 有 了 (st) 安 
Pruin (sf), 
mn (#2) 称 为 相应 于 0 的 最 小 (次 ) 转 称 函 数 , 相 应 的 马尔 可 
大 过 程 站 六 最小 过 程 Cin nna process)., 
Ponts yf) 可 由 Q(3) 构 造 , 置 


(st) = exp| 一 [au ， 

Gongs) = gts)ots), 

PRS) = i851t), 

PrPGD = [du DP Cen)g sm)dal), 


ET 


记 Ps,t) 一 CP Cs,t)); ers 


Psst) = PPE n=0,1,, 


丰 一 让 


则 Pun (sst) 一 limP"Cs,0)., (24. 11) 


在 实际 应 用 中 ， 大 多 数 情形 对 给 定 的 2(s) ,相应 的 转移 洱 数 
是 唯一 的 ,因此 常常 利用 刀 写 出 向 后 或 向 前 方程 组 ,然后 求解 它 
得 出 P(s ,1), 


24. 2. 7 章 次 马尔 可 去 过 程 


1, 定义 和 一 般 性 质 
定义 24. 2. 11 有 其 有 可 列 状态 空间 了 的 蕊 尔 可 夫 过 程 {Xi} .er 
称 为 齐 次 马尔 可 夫 过 程 (homogenous Markov process), 若 其 转移 
阔 数 矩阵 PGs ,四 仅 依 赖 于 i 一 s， 
于 是 若 记 PC() 一 Pls,s 十 站 一 (Pi (815+t) er 
由 (24. 2. 3) 得 
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性 质 24. 2- 12 齐 次 马尔 可 去 过 程 的 转移 艾 数 的 性 质 ， 

Pa 0, tieEl,tel. 
> Pslt) = 1( 中 断 情形 为 “所” ， ET ET 了 . 
jE 
Pils +t) = SD PaAOdP), i ET， 

上 EE 了 

Pi,(0)=6,,. 
以 下 考虑 的 齐 次 马尔 可 夫 过 程 , 均 假 定 其 转移 函数 满足 下 述 


标准 性 : 
lim Putt) = P.O) =6, IEL. (24.12) 


i 


2. 转移 函数 的 性 质 

设 Pt GJET,tET) 是 满足 性 质 24. 2. 12 中 请 式 的 标准 
转移 函数 ， 

定理 24.2. 13 ”对 任意 i,jE1, 抄 数 了 (fy 在 T/{0} 上 恒 为 0 
或 恒 为 正 . 

对 齐 次 马尔 可 去 过 程 , 它 的 (转移 函数 的 ) 密 度 矩阵 (常数 阵 ) 
在 标准 性 假定 下 总 存在 

定理 24.2.14 YijETI, 极 限 
P(t) 一 全 

i 


lim 一 Pr C0) 一 i 


tr 


存在 ,只 要 转 称 消 数 P;(f) 是 标准 的 . 此 外 对 i 了 7,91; 是 有 限 的 ,而 
YY 了 
1 二 Pa < -wy 
对 于 P 忆 (好 在 40,eo) 上 的 可 徽 性 ,有 
定理 ?4, 2. 15 对 于 标准 转移 函数 PC ,YijJET,PGD 对 
t 在 (0, 十 ce 上 具有 连续 导 通 数 , 且 
Po 十 划一 >Paol(o)Pa)， 0 20 


和 
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Pits t= PPV)PY (ED), ss 0,t>0, 
二 E 下 
这 里 级 数 是 绝对 收 全 的 .此 外 YY i ET， 
| 2 1P OO < DP) = 0, 1>0, 
eI JE 了 了 
若 g<coPo 了 由 在 1 二 0 也 是 ( 右 ) 连 续 的 ， 
3， 向 前 向 后 方程 
设 Pi(2) 为 标准 转移 函数 ,Q== (gq,,) 为 其 密度 矩阵 ,总 有 
Pi DgaPy {tt}), ijET,t20 
ET 
和 
P, (1) 2 DD Pali) £97 所 了 i 上 0， 
是 丘 了 


若 成 立 等 号 ,就 得 到 向 后 各 向 前 方程 组 ,这 一 般 需 加 条 件 . 
定理 24. 2.16 (1) 疝 后 方程 组 成 立 人 YiET， 


和 全 一 晤 一 > 9 的 on。 (24. 13) 
了 名 了 
《2) 若 go<eosE7, 且 极限 
jm Poe) _ 


关于 雪 天 门 一 致 成 立 , 则 向 前 方程 组 成 立 ， 

注意 对 工 为 有 限 集 ,(34. 13) 式 ,从 而 向 后 方程 成 立 , 显 然 向 前 
方程 也 成 立 . 

在 实际 应 用 中 ,状态 空间 了 常常 是 有 限 的 ,此 时 向 后 向 前 方程 
的 解 可 以 通过 计算 密度 矩阵 的 特征 根 和 特征 向 量 得 出 .于 是 给 出 
解 的 两 种 表达 式 . 

记 了 一 们 ,25 

QW 一 梧 一 下 一 (0 — qi) xs 
为 的 特征 阵 , 以 QC) 表示 对 应 于 4 二 的 特征 阵 的 第 (Cj, 让 个 
余子 式 ， 
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定理 24.2.17 (1) 若 Q 有 不 同 的 特征 值 中, ,, 则 向 前 向 
后 方程 满 是 PCo) 一 人 5 的 解 为 


5 ', A A 
Pi = YD EE ,jj to. 


“A) 


《24. 14) 

(2) 若 恕 有 多 重 特征 根 加 ,… ,其 重 数 分 别 为 ws 十 
… 二 一 3, 则 向 前 向 后 方程 满足 初始 条 件 Po) 一 5 的 解 为 ， 
P(t) = DE er 

一: 1 《一 各)” 


2 


3 和 wo 


tm 


x| > Ce yin 和 Co (24, 15) 


其 中 >,… > 表示 7 一 1 个 和 式 , 每 一 个 对 应 一 个 e 莽 CE 一 1 
;并 加 遍 和 .一 0，…za ,这 里 产 一 (ma 十 和 十 让) 一 mc 

用 上 述 公式 时 , 除 计算 特征 值 外 ,还 须 求 出 相应 特征 阵 的 代数 
余子 式 . 利用 下 面 定 理 , 也 可 通过 特征 值 和 特征 向 量 表达 . 

定理 24.2,18 (1) 式 (24, 13) 的 解 为 (矩阵 形式 ); 

Pt} = T(EYECITTI RE), 

其 中 EQ) 一 (eh6,),xssT 是 由 相应 于 加 水 的 * 个 特征 向 量 了 ,， 
… 氏 ,为 列 向 量 梅 成 的 矩阵 ,满足 TO7 一 046)xr 

{2》 式 (24. 142? 给 出 的 解 可 由 下 列表 达 : 

Pl) = T diag (E(t) ,B,JT-, 
其 中 diag (EC ,EE(2) 表示 一 个 sXs 矩阵 , 它 的 主 对 前 线 元 
“。 537 。 


素 自 左 上 角 开 始 依次 为 由 个 es 个 e*', 其 余 元 素 为 0.T== 
[To Le 
这 里 Ti 如 下 得 到 ; 取 QV 一 (AE 一 Q@) 的 一 个 非 零 特征 向 量 
CL AD ,a CA ,CAT 
置 


TH 一 


即 可 . 

4, 忆 这 程 

和 非 齐 次 情况 一 禅 , 实 际 问 题 中 常常 关心 的 基 : 已 给 密度 矩阵 
昌 , 即 其 元 素 满足 0<<gi; 之 00.i 关 J 人 or 之 一 g; 所 co 的 抢 阵 ,是 


否 存在 转移 函数 (或 次 转移 函数 )P， DC jEIT,tET) 使 0Q 为 PCO) 
一 CPij()) 的 密度 ? 若 存 在 是 否 唯 一 ? 它们 满足 向 后 和 向 前 方程 组 
蔡 ? 这 些 问题 对 满足 一 gi 二 * 的 旭 , 得 到 了 较为 完满 的 结果 . 首先 
由 定理 24.2.10, 对 应 于 0 的 次 转移 函数 (简称 为 0 过 程 
{Qprocess )) 存 在 , 且 可 由 《24.11}) 构 得 出 最 小 口 过 程 (minimal Q 
process), 它 满足 向 后 和 向 前 方程 组 . 对 唯一 性 有 下 面 诸 定理 . 

对 20 以 AVC) 和 YCS27 ) 分 唱 表示 方程 组 (向 量 形 
式 ) 


E 
二 和 CQ {A CD) | 下 一 0 5 一 1 


妈 一 人 一 0 
和 
WW— VoO=0 
的 解 5 非 负 解 ) 全 体 ,…; 和 527 的 维 数 记 为 加 :和 2+. 
定理 24. 2. 19 下列 条 件 等 价 
C1) 满足 向 后 方程 组 的 已 过 程 唯 一 . 
(2) 对 某 140 本 仅 为 零 解 . 
(3) 对 某 42>0,.217 仅 为 零 解 . 
定理 24. 2. 20 (1) 若 最 小 过 程 不 中 断 ( 即 Pt 为 转移 函 
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数 ) ,或 者 它 虽 中 断 ( 为 次 转移 函数 ) 但 ”一 0, 则 满足 向 前 方程 组 
的 和 急 过程 唯 -… 

(2) 若 最 小 解 中 断 旦 #1 二 1, 则 有 无 穷 史 个 @ 过程 满足 向 前 
方程 ,其 中 只 有 一 个 是 不 中 源 的 . 

《3) 若 最 小 解 中 断 且 nn' 守 1, 则 有 无 穷 多 个 人 @ 过 程 满足 向 前 
方程 ,上 是 有 无 穷 多 个 是 不 中 断 的 . 

一 般 地 有 以 下 结论 : 

定理 24.2.21 @ 过 程 的 唯一 性 准则 (uniqueness eriterion 
for 外 process) 假定 gi 记 一 2, 了, 则 过 程 唯一 的 充 要 条 件 
是 最 小 过 程 不 中 断 , 或 最 小 过 程 中 断 并 满足 下 面 两 个 条 件 ; 


01) PER D0 一 六 之 0， 4>0， 
其 中 GD = | erp, (dt. 

(2) pn1 二 0, 即 5227 具 合 罕 解 . 

5， 生 灭 过 程 


定义 24. 2.22 定义 在 概率 空间 (2,. 入 ,了 ;上 的 齐 次 马尔 可 
去 过 程 称 为 生 灭 过 程 (birth and death process), 若 其 状态 空间 了 
一 入, 且 其 转移 函数 的 密度 算 阵 QQ (give 具有 下 述 形式 ， 
gi;; 一 0， 若 | 上 i 一 站 之 1; 
Qi = Oy dil = dis 
gi = (a 6), 
其 中 a 记 0,5.>0 为 实数 ,i 字 1 ,an 一 和. 
生 灭 过 程 广泛 应 用 于 各 个 领域 ,详细 的 讨论 可 参考 文献 [L40] 
和 [36]J 以 及 第 32 章 . 


24.3 一般 状态 空间 上 的 马尔 可 夫 过 程 


设 全 , 殉 ) 为 完备 可 分 距离 室 间 ,. 汐 为 博 甸 尔 e 域 ,考虑 天 上 
“9539。 


的 马尔 可 夫 过 程 ， 
24. 3. 1 马尔 可 夫 过 程 及 其 转移 函数 


定义 24.3.1 设 (Q,. 宛 ,也 ) 为 一 概率 空间 ,( 灾 ,)wo 为 .PF 的 
上 天 子 o 代数 族 (有 即 满 足 字 , 忆 .各 1,,CC 久 Fs 这 0 的 og 代数 族 ). 定义 
在 (R22,F ,Py 上 的 EE 值 随机 这 程 {X,};o 称 为 马尔 可 才 过 程 ,如 果 
对 任意 上 之 0,X 为 多, 可 测 , 且 

POX, ETT, = PX, €E TIX,} (a.s, Pp) {24. 16) 

对 0sss 和 了 EE 当 成立. 

为 进一步 研究 马尔 可 夫 过 程 ,引进 下 面 

定义 24.3.2 实 值 函数 Pz, 了 ,0 入 1,TEE,ITE 浪 ， 
称 为 一 个 转移 函数 ,如 

(YYOsssAet Pro0) 为 声 上 的 概率 测度 ; 

(2) YY 0 区 ,Pl(s,0;44 门 为 上 的 多 可 测 防 数 ， 

《3) 0 


Plssrsu,T) = JPasysu TY ps rstdy) (24. 17) 


(24, 17) 式 称 为 查 善 曼 - 科 尔 莫 威 罗 去 方程 或 C-K 方程 ， 

若 PCGziiE 一 忆 人 一 sz 了 人 与 二 有 关 ,0<5 扫 5 后 刚 称 
为 齐 次 转移 函数 . 

设 { 忆 ,js 为 一 马尔 可 夫 过 程 , 如 存在 转移 函数 PCs,ziD) 使 

PUIX, ETIX) = Pls,X,;t,T) (Ca, s. Pp) 

就 称 PCs ,zfs 攻 ) 为 {Xo 的 转移 函数 ,转移 函数 为 齐 次 的 马尔 可 
夫 过 程 称 为 齐 次 马尔 可 去 过 程 ， 

一 个 马尔 可 去 过 程 的 转移 函数 和 初始 分 布 (X 的 分 布 ) 完 全 
决定 它 的 有 限 维 分 布 族 . 


24. 3.2 存在 性 定理 


定理 24. 3.3 设 Pts,7z;t, 卫 ) 为 一 转移 函数 ,py 为 雪上 上任 一 
。540 。 


概率 测度 , 则 存在 … 概 率 空间 :2 多 ,天 ?及 其 上 的 所 值 随机 过 程 
{Xo0: 它 以 并 为 初始 分 布 ;关于 ?一 0( 六 ,5s 生 1/) 为 马尔 可 夫 讨 
程 ,P6s,zit, 了 ?为 转移 函数 . 
以 趟 将 不 区 分 马尔 可 去 过 程 与 它 的 转移 函数 ,日 主 要 考虑 齐 
马尔 可 去 过 程 . 


24. 3. 3 ” 停 时 和 强 马 尔 可 去 过程 


设 5, 天 ,为 一 概率 空间 ,有 ss 为 ,多 的 一 能 上 升 子 c 
代数 ， 

定义 24 3.4 称 映射 r: 吕 一 [0, 十 co 为 (2 四) 停 时 (stopbing 
time) 或 马尔 可 夫 时 间 , 若 对 任意 1 写 0 ,fw :rT(w) 扣 1} 仑 ,总 ,. 

设 rz 为 !4 罗 四) 停 有 时, 定 文 深 , 三 14 1 A4E A(T 让 ft 站 
0 则 六, 为 一 = 代数 ， 

定义 24.3.5 设 { 扰 }o 为 (个 天, 已 ) 上 的 { 史 小 齐 次 马尔 可 
去 过 程 ,PGzrD) 为 其 转移 消 数 , 若 {1 碟 1 循序 可 测 |， 生 兴 每 
a.$. 有限 停 时 r,Y 1t 守 0 和 本 .人 有 

Pi, ETI,) = Plt,X., TI} (Ca, Ss. PY 

则 称 { 总 ,) 为 (到 ) 强 马尔 可 去 过 程 (strong Markov process)， 


24. 3. 4 半 群 及 其 无 穷 小 算 子 


考虑 齐 次 马尔 可 卖 过 程 

虽然 转 称 函数 PG,x,T) (加 上 初始 分 布 ) 完 全 决定 一 个 切 尔 
可 去 过 程 , 但 实际 中 要 蓝 得 一 个 具体 的 转移 函数 是 很 困难 的 ,因此 
用 转移 渗 数 来 描述 马尔 可 夫 过 程 是 不 方便 的 ,必须 寻求 其 它 有 关 
的 量 , 蕊 尔 可 夫 过 程 理 论 中 这 方面 的 一 个 途 征 就 是 用 巴 拿 赫 
(Banach) 室 间 上 算 子 半 群 及 甚 无穷小 生成 算 子 来 描述 ,导致 这 种 
方法 的 是 以 下 事实 ， 

设 BCE) 为 上 有 界 洛 可 测 函 数 全 体 , 以 上 确 界 作 范 数 后 
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司 ( 瑟 ) 成 为 巴 拿 赫 空间 . 设 卫 (也 ) 为 转移 函数 ,YE0， 
fEB(E), 令 


Tczn = |f OWP rdy), 


则 1 sw 为 BCEY 上 一 族 压 编 算 子 半 群 (semigroup of contraction 
Operators), 即 | 了 ,| 委 1 Yiz0 且 了 了 一 了 Yitz30, 显然 此 
算 子 半 群 完全 决定 了 局 (t,x, 古 ), 通常 称 上 述 {To 为 转移 半 群 
(transition semigroup ). 

BtE) 上 压缩 半 群 {T,}) 的 无 穷 小 算 子 4 由 下 式 决定 : 

4F 一 lim 2 一， (24. 18) 
其 中 收 和 化 为 按 范 数 收 笋 .4 为 B(E) 上 线性 算 子 ;其 定义 域 是 使 
《24. 18) 中 极限 存在 的 一 切 /EB(E) , 记 之 为 Da. 在 一 定 条 件 下 ， 
压缩 半 群 为 其 无 穿 小 算 子 唯 … 决 定 , 因 此 可 用 无 窃 小 算 子 描述 马 
尔 可 夫 过 程 ， 

在 实际 问题 中 ,决定 无 穷 小 算 子 的 有 关 参 数 常 可 由 观测 求 得 ， 
例如 在 很 多 场合 ,过 程 的 无 穷 小 算 邓 是 一 个 二 阶 微分 算 子 , 此 时 它 
的 系数 可 由 某 些 物理 量 决定 无 穷 小 算 子 不 但 刻画 出 过 程 的 性 质 ， 
有 时 还 可 由 它 直 接 构 造 出 过 程 的 轨道 ,这 方面 的 知识 可 参见 第 25 
和 30 章 . 


24. 3.5 ”跳跃 马尔 可 夫 过 程 和 费 勒 过 程 


跳跃 马尔 可 夫 过 程 (Markov jump processes) 和 贰 勤 过 程 是 
最 典型 而 重要 的 两 类 过 程 , 我 们 来 讨论 它们 对 应 的 半 群 和 无 穷 小 
算 子 . 
1、 汪 既 马尔 可 夫 过 程 
设 A4z) 为 五 (下 ) 中 的 非 负 函数 ,mx 是 定义 在 五 X 号 上 的 
实 国 数 ,对 固定 的 卫 ,A(， ,站 ) 为 字 可 测 , 固 定 wxEE,pylx，*，) 是 
- 542， 


:多 上 概率 测度 . 记 
47zr) 一 xz)|con 一 Ar) dy), FE BE)Y, 


则 4 为 BE 上 的 有 界线 性 算 子 , 它 是 跳跃 进程 典型 的 无 穷 小 算 
子 , 事 实 他 可 以 构 闭 一 跳 除 这 程 以 A 为 无 穷 小 算 子 ， 

2， 费 勒 过 程 

为 叙述 简单 设 五 为 紧 距 离 空 间 , 以 CtE) 表 示 如 (五 ) 中 连续 中 
数 全 体 , 视 为 B8(E) 的 子 空间 . 

定义 24.3.6 称 C(E) 上 的 正 强 连 续 压 缩 半 群 (7 了.),; 为 费 勒 
半 群 (Feller semi-group) , 若 了 了 ,一 0. 

若是 由 转移 效 数 了 了 (t,x, 夏 ) 产 生 的 ,车 了 ,保持 CCE) 不 
变 , 则 它 是 费 勒 半 群 . 

定理 24.3.7 设 F 为 紧 距 离 空 间 ,{T,}o 为 C(E) 上 的 费 勒 
二 本 为 罗 上 任 概 来 测度 ,用 存在 入 率 空 (0 ) 及 其 上 
的 瑟 值 马尔 可 夫 过 程 {X}ioo1 以 py 为 初始 分 布 且 对 ¥ EC(E)， 
有 ECfCa) 1 一 荆 f(z) ,此 外 XX 是 具有 有 连续 轨道 的 强 马尔 
可 夫 过 程 . 

关于 费 勒 半 群 的 无 穷 小 算 子 , 有 下 面 一 般 结 果 . 

定理 24. 3.8 五 为 紧 距 离 空 间 ,4 为 CtE) 上 线性 算 子 , 则 4 
的 闭 包 有 为 单 值 且 产生 -个 正 强 连续 压缩 半 群 后 

(1) Ds 秽 于 COE); 

《2) 4 满足 正极 大 原理 ; 

<3) 存在 4120, 使 4 一 后 的 值 域 负 于 CE), 

称 费 勒 半 群 对 应 的 马尔 可 夫 过 程 为 费 勒 过 程 (Feller 


process), 
24.3.6 马尔 可 卖 过程 与 拷 


任 给 -马尔 可 去 过 程 , 下 面 定理 使 它 联系 一 个 鞭 ( 定 文 
”543。 


29, 1. 1). 
定理 24.3.9 设 ! 世 jp 为 人 到,P) 上 的 马尔 可 去 过 程 , 其 


无 穷 小 算 了 于 是 4， 则 对 任意 了 € D， 过 程 | /CX 一 
| 47Gxcods 在 P 下 关于 (7) 为 对 


下 面 说 明 ,一 定 条 件 下 的 马尔 可 去 过 程 可 以 用 对 予以 描述 . 先 
引进 一 些 术语 ， 

定 光 24.3.10 (1) 设 4 忆 有 CE) Xx BOE),A 的 拷问 题解 是 
指 :定义 在 某 个 概率 空间 避 , 有 ,P; 上 的 万 值 随机 过 程 { 总 je 在 


P 下 关于 (多 六 是 一 个 舟 , 这 里 到 一 28 V ohCXdu,s 志 


hE BE) | 次 0， 


(2) 天 为 史上 的 概率 测度 ,C4 ,yg) 靳 问 题解 是 指 以 为 初始 
分 布 的 4 靳 问题 解 . . 

《3) 《4 ,拷问 题 的 唯一 性 是 指 :; 若 {X,} 和 47) 是 C4, 世 ) 技 问 
题 的 两 个 解 , 则 它们 的 有 限 维 分 布 相同 . 

以 DPD:L0,o0) 表 示 [0,o0) 右 连 左 极 EE 值 陋 数 全 体 ,yx 为 其 上 
由 柱 集 产生 的 o 代数 , {六 ,166 为 Da[0,co) 上 坐标 过 程 , 于 是 一 个 
4 拷问 题解 就 指 CDzL0,co),gpr)y 上 的 一 个 概率 测度 也. 此 外 以 地 
表示 [0,co) 上 非 负 有 界 可 测 函 数 金 笨 , 多 ,一 多: V alt(r 委 9: 
GE3 了 为 浆 上 概率 测度 的 一 个 集合 ,对 狗 上 的 概率 测度 ”。 记 
T={PETPX, =r}. 

定理 24. 3.11 设 坟 为 完备 可 分 紧 距 高 空间 ,假设 对 . 客 上 任 
一 概率 测度 v. 卫 二 儿 ;, 记 4 = (fs) E B(E) X BC(EYY p E 
T/CX) 一 | cx 为 (P70) 拷 ) ,由 


(1) 存在 一 个 线性 耗 散 (dissipative) 算 子 4 疙 Ao, 司 4 一 A 的 
"54d4. 


值 域 为 BCE (a>>0),D4 的 有 界 弦 闭 包 在 B(E) 中 稠 . 

(2) 对 祖上 任 一 概率 测度 "存在 已 各 卫 , 它 是 (4, 蒜 问题 
的 唯一 解 ， 

(3) 4 的 每 一 蒜 间 题 满足 

下 (EEC 多 一 Pr (CCE gerrE ,Pr 为 (4,6x) 的 炽 
问题 解 ,z 一 已 : 是 党 可 测 的 ， 

此 外 还 有 

定理 24. 3.12 设 严 可 分 ,4C 己 (CBE)X 呈 (CR) 是 线性 的 且 为 耗 
散 ; 又 设 存 在 4'CA,A4' 线 性 且 4 一 A4' 的 值 域 的 闭 包 为 万 ,一 (对 
某 4 汪 0), 车 工具 有 性 质 ; 对 :如 上 的 测度 vy fEL,pf 一 vf 地 
二 上 ,那么 对 寡 上 任意 概率 测度 jy, (4,p) 拷 问题 的 解 是 马尔 可 夫 
过 程 , 且 蒜 问题 唯一 性 成 立 . 

这 里 没有 区 分 BCE) 上 的 算 子 与 其 图 象 ,4 还 可 以 为 多 值 的 . 

用 著 刻 画 蕊 尔 可 夫 过 程 时 ,对 算 子 4 的 限制 较 无 穷 小 算 子 验 
得 多 ,因此 扶 方 法 是 一 种 有 力 的 工具 .有关 这 方面 的 细节 和 和 严格 的 
陈述 参见 文献 [541. 


25 ”扩散 过 程 
25. 1 扩散 过 程 的 重要 性 与 引 例 


25.1.1 扩散 过 程 的 重要 性 


本 章 将 研究 系统 状态 以 连续 方式 变化 的 一 类 重要 的 马尔 可 去 
过 程 . 历史 上 这 类 过 程 的 研究 起 源 于 对 扩散 现象 的 研究 . 

许多 物理 ,化 学 ,生物 ,经 济 和 社会 现象 可 以 用 扩散 过 程 
Cdiffusion process) 作 模型 来 研究 , 例如 相互 作用 条 件 下 的 可 列 多 
个 质点 的 分 子 运 动 .理想 市 场 中 的 价格 波动 . 某 些 有 噪声 干扰 的 通 
讯 系统 ,有 刺激 的 神经 活动 .群体 增长 中 的 变异 、 在 竞争 和 其 它 相 
互 关系 下 的 物种 数量 的 变化 .进化 中 的 基因 取代 等 等 ， 

扩散 过 程 与 其 它 随机 过 程 关 系 密 切 , 因 而 其 理论 研究 也 相当 
重要 . 作 时 间 尺 度 变换 和 把 状态 变 堪 重新 规格 化 ,许多 马尔 可 夫 过 
程 可 用 扩散 过 程 来 近似 . 

一 维 扩散 过 程 的 许多 重要 省 函 ( 像 首 次 通过 时 间 等 ) 的 概率 分 
布 .边界 性 质 及 平稳 分 布 等 ,其 计算 常 归 纳 为 解 有 简单 边界 条 件 的 
二 阶 微分 方程 ,因而 能 精确 求 出 .这些 公 式 推广 到 多 维 扩散 过 程 也 
常 无 困难 ,只 是 求解 时 要 过 到 偏 微 分 方程 ,因此 实际 找 出 其 精确 
解 , 常 非 易 事 . 


25. 1. 2 引 例 


下 例 说 明 一 个 在 数 轴 整 数 点 Z 上 作 随 机 游 动 Crandom walk) 
的 质点 是 如 何 经 极限 过 渡 为 在 全 直线 R' 工 的 扩散 的 , 这 种 方法 称 
为 扩散 近似 (approximation by diffusion), 
+ 6 * 


-质点 在 某 时 刻 位 于 记 则 下 -一 单位 时 刻 以 概率 p( 宇 0) 向 
右 移 到 ?十 1: 而 以 概率 9 全 1 一 总 空间 向 在 移 到 一 1EZ 若 以 
革 ( 习 表示 # 个 单位 时 刻 后 (也 称 w 步 后 ) 质 点 的 位 移 , 则 易 知 
{ 玉 () yn 一 0 ,1,2,…} 基 齐 次 马尔 可 夫 链 ,其 状态 空间 =72)， 一 
步 转移 概率 为 
pri=p, p=g, pi=0, jitl, i€EE. 


令 


x 质点 第 i 步 向 右 移 ， 

”1 一 1 质点 第 i 步 向 左 移 ， 

则 质点 每 一 步 的 平均 位 移 EX 一 pp--g, 方 差 为 DX; 二 4py. 由 假设 
知 买 (2) 一 DX, 区 EX(n)=n(p -gq), DXtn) = dnpy. 


今 考虑 极限 过 程 ， 假定 ;(1) 每 步 的 空间 长 度 为 Ax;(2) 每 步 所 
需 时 和 间 长 度 为 A. 于 是 (0,1j 时 间 内 共有 tAz 步 转移 ,从 而 


TE 
> 


位 称 方 莽 二 4 Epq (Ar)' dtpa 


艇 A 一 0 ge 应 要 下 i Ca/ 存在 ,此 
时 如 又 要 求 平 均 位 称 有 限 ,内 应 存在 ln(p 一 0)/ax. 为 此 全 


CAr): CC 1 eo 
(25. 1) 
其 中 和 DD(>>0) 为 常数 , 从 而 
CO,t 平均 位 称 全 (i 一 207， 
了 中 平均 位 移 会 严 £25. 2) 


1(0,2] 中 位 移 方 差 人 ac 和) 一 2Dz. 
{0st] 中 总 位 称 可 视 为 独立 同 分 布 的 小 位 称 之 和 ,其 中 每 一 位 
称 取 土 Ax 之 一 , 令 A 一 0, 由 中 心 极 限定 理 及 (25.2) 知 ,总 位 移 的 
。547 ， 


极限 分 布 密度 函数 为 


1 
fryx) = exp{— (x — m(i)) /20 (F)} 
v2ROCE) . 
1 、 
2 [EE 20t)2 /AD }. (25. 3) 
2 pp! I / } 


它 描 述 了 在 给 定 假 设 下 ,质点 在 全 直线 上 "扩散 "的 概率 规律 . 
25.2 扩散 过 程 的 定义 


25.2.1 利用 转移 概率 定义 
以 卫 届 ) 表 时 刻 : 质点 的 位 置 , 它 是 随机 变量 . 设 关 (ft) 一 +, 考 
察 在 时 间 泣 也 GG,t 十 At 中 状态 变化 AX GQ) 全 久 红 十 误 ) 一 症 (2). 设 
过 程 连续 (21. 3, 3), 故 对 任 全 >0 有 
limPCAX GD 人 人 KG 一 了 ) 一 0 或 
im d ,Plt,xst + At,y) 一 三， (25. 4) 


17 1 


这 里 Gyrst 二 Ai)APCXGTADSCy|X() 二 x), 且 设 上 -- 极 
限 对 xz 为 一 致 的 ,本 节 以 下 的 极限 也 恒 设 如 此 . 由 于 物理 和 生物 
现象 中 的 扩散 ,其 无 穿 小 位 移 的 均值 与 方差 多 与 秋 成 正比 , 故 
可 设 

lim |  oy — zdF rs + Atsy) 


下 


= lim LECAXO XO = x) A attsr), C25. 5) 
AD A 


lim 志 |- (y — Zz)dF rt A y) 


Br 
= lim 二 E[CAX(D)IXCG = xz] A bt) > 0. (25.6) 
sn A 


连续 性 条 件 525. 4? 常 强化 为 邓 肯 茶 件 (Denkin condition) 
* 54dB* 


im 部 dyF ltrit + Al,y) = 0, (25.7) 
[yl 
或 更 强 的 
lim 寺 | Cy — zy rt AAsy) = 0 (25.8) 
Bi 


了 


| 
显 见 , 当 (25. 8) 成 立时 ,(25.6) 与 (25. 7 可 分 别 写 为 截 尾 矩 的 
形式 : 


lim 上 上 | Cy — rdF (zt t MAYy) = alt,r), 
sa Ar 


»—I|>8 


《25. 9) 


lim 元 | Cy — rd Fe rt Arey) 一 下 人 > 0. 
Em 


lz—rl 


【25. 10) 

应 注意 ,(25. 9) 与 (25, 10) 存 在 不 保证 F 有 一 阶 算 和 二 阶 算 . 

定 尺 25.2.1 称 满足 (25.7),(25.9) 和 {25.10) 的 马尔 可 夫 
过 程 为 扩散 过 程 Cdiffusion Proeess) , 式 中 actyz) 称 为 漂移 参数 
《drift parameter) ;无 穷 小 均值 (infinitesimal mean) 或 无 穷 小 期 望 
位 物 (expected infinitesimal displacement). 称 Csz) 为 扩散 参数 
《diffusion parameter) ,无 穷 小 方差 (infinitesinmaal variance), 

注 25.2.2 利用 转移 概率 ,扩散 过 程 尚 有 如 下 定义 (其 中 限 
制 (1) 最 强 ,理论 讨论 中 更 常用 (2))， 

(1) 满足 (25. 5), (25.6) 和 (25, 10) 的 马尔 可 夫 过 程 , 称 为 扩 
散 过 程 . 

《2) 连续 参数 的 马尔 可 去 过 程 , 如 其 几乎 所 有 样本 轨道 丑 () 
是 :的 连续 函数 , 则 称 其 为 扩散 过 程 70, 且 常设 过 程 规则 70. 

相 空 间 五 可 易 为 某 有 限 或 无 限 区 间 . 在 某 边 界 点 上 如 6(Ct ,xz 
一 0 或 az)vagtr) 不 存在 , 则 称 此 扩散 过 程 为 奇异 的 
《singuilar)， 又 ,不 失 一 般 性 几乎 所 有 赤道 连续 的 过 程 总 可 设 为 一 

* G49 * 


切 样本 轨道 为 连续 的 ( 见 [24]). 
对 于 齐 次 扩散 过 程 , (25, 5) 和 (25. 6) 可 分 别 写 为 
limE.(X 0) — rt 
一 limEtX (2) -|K(O) = rt = alr), 《25. 11) 
limEs((X C0) — XY 
一 mn 玖 (全 (0 XTRA TA br 0 C25.12) 
回忆 《25. 1) 中 例子 . 由 无 限制 随机 游 动 过 渡 得 到 的 极限 过 程 ， 
易 验 证 它 是 att ,zx) 二 2C ,b(t,x) 一 2D 的 齐 次 扩散 过 程 . 
每 一 个 连续 马尔 可 夫 过 程 , 都 可 以 看 作为 一 个 不 连续 马尔 可 
夫 过 程 的 极限 情形 . 


25. 2. 2 ”利用 无 穷 小 算 子 定义 


注 记 号 25. 2.3 DE; 在 x 邻 域内 二 次 连续 可 微 实 蚂 数 类 , D 和 
={f: EC(E), f(r)Alim[E AX.) — fr) /Eh. 存在 }, 其 
中 太 , 为 zx 的 邻 域 U, 的 首 达 时 ,U4 {xr}. 

定义 25.2.4 设 作 为 (KR, 才 ) 上 连续 强 马尔 可 夫 过 程 (定义 
24.3.5) 其 的 特征 算 子 (定义 21.6.10), 如 对 任何 zEE,DiC 
Da ”; 则 称 氏 为 扩散 过 程 . 

性 质 25. 2. 5 扩散 过 程 的 存在 性 ” 设 函 数 atx) 和 BCz) 满 足 

(1) 有 界 旧 赫 尔 密 (Hotder) 条 件 成 立 : 存 在 上 ,ez>0 
使 | Cre) 一 fy) [Rr 一 yl ,ryER,f=a 或 b; 

(2) 存在 常数 p>0 债 b(r) 宇 fp, 全 区 ， 

则 在 CR, 才 ) 上 存在 扩散 过 程 使 其 特征 算 子 多 满足 Bf (x) 二 
a fF Ct3o Cr EDs. 

性 质 25.2.6 两 种 定义 间 的 关系 ” 设 卫 是 CR!', 留 ) 中 齐 次 马 

尔 可 去 连续 过 程 , 旦 对 每 zxE R! 
“。550 。 


(1) 存在 邻 域 末 ,使 下:eo < 其 中 心 是 首次 流出 忆 的 时 
问 :er =inf (ts XE UD); 
《2) 存在 慨 限 


lim le IPGL,dy) = alx), 
EE 
Rk 


lim te 一 XYPG rdy) = BL), 
EE 


Iq 
alz) ,5b(x) 连 续 , 量 极限 号 下 的 比 关 于 ER 一 至 有 界 , 则 XX 
是 ( 齐 次 ) 的 扩散 过 程 ,a(z) 为 漂移 系数 而 b(tx) 为 扩散 系数 . 
以 下 除 另 有 说 明 , 凡 扩散 过 程 均 由 (25. 4 定义 ， 


25. 3 ” 科 尔 莫 戌 罗 夫 向 前 向 后 方程 


25. 3. 1 科 尔 莫 龙 罗 夫 向 前 向 后 方程 


定理 25. 3.1 科 尔 莫 医 罗 夫 向 前 方程 (Kolmogorov forward 
equation) 设 固 二 (XX,)ea: 站 二 [a,5j 是 扩散 过 程 (25. 2. 1) ,其 转 
移 概率 密度 函数 psszxstry) 存 在 , 且 下 列 偏 导数 存在 ,连续 : 


局 六 9? 
FIPS ya ye GP rity) SL ps zy 
则 psyzit 满足 下 列 仿 微 分 方程 . 


9 __ 3 _ 
了 Pi) 一 Fo Prt y)] 


1 9a? 
二 二 a 


定理 25.3.2 科 和 尔 莫 万 时 夫 向 后 方程 CKolmogorov 

backward equation》 设 其 二 《Xiea: 信 二 [a,;5] 是 扩散 过 程 

“25. 2.1) ,其 转移 概率 分 布 函数 Fs,x;t,3) 会 P(XEy|X, 三 工 ) 
于 

的 下 列 含 导数 在 在 卫 连 续 ; Fe,zitvy) 与 让 5FGsyzit'2)" 则 
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[ott yplss rt y)] (25,13) 


Fts,xst;y) 满 足 方程 


本 
了) = als rx) em 


一 地 6(s,z) 交 3 Fls, it C25. 14) 


当 pts yx3tyy) 存 在 时 ;可 以 六 易 (25. 14) 中 之 开 ， 

在 特殊 场合 , 福 克 - 普 朗 克 (Fokker-Planck) 首 先 得 到 过 它们 ， 
因此 也 常 称 它们 为 福 交 - 普 朗 克 方 程 . 

齐 次 时 (25.13) 与 (25.14) 分 别 有 如 下 形式 


9 3 
iP Ey) 一 一 a5 Prt, y)] 


a2 
+ to pry)], (25.15) 
2 39 
了 | 9 ，， 
37 ry) —atr) 3 CE 


十 3 5 > PaF yxy), (25. 16) 


始 条 件 是 产 C0+,ryy)= 一 By 一 4) 即 一 1 如 SO, 反之, 可 
以 txzsy) 易 (25.16? 中 之 Fezryy) 如 能 称 密度 存在 日 满足 祖 
应 的 条 件 . 


25. 3.2 科 尔 莫 姜 罗 夫 方 程 解 的 存在 与 唯一 性 


关于 科 尔 莫 龙 罗 夫 扩散 方程 解 的 存在 性 与 唯一 性 , 设 有 初等 
的 处 理 方法 . 在 一 定 条 件 下 费 勒 给 出 了 理论 证 明 , 但 天 部 分 近代 结 
果 都 是 以 半 群 理论 为 依据 的 . 

注 ”对 扩散 过 程 (Xer,T== (ir)CCRi, 更 勒 (195? 年 ) 把 求 
解 与 边界 分 类 (25. 5) 联 系 起 来 得 到 如 下 结果 (下 述 * 正 则 ”“ 自 然 ” 
及 “流出 "等 概念 见 式 (25. 5). 
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C12 当 两 近 界 没有 -个 是 正则 时 ,尽管 科 尔 莫 区 多 去 扩散 方 
程 的 初 秆 问题 可 能 有 许多 解 , 但 两 方程 只 有 一 个 公共 的 基本 解 ( 或 
衬 林 消 数 ). 

(2) 两 迎 角 都 是 自然 边界 时 ,下方 程 初 值 问 题 都 有 唯一 的 解 ， 
由 公共 的 基本 解 给 出 、 

《3) 两 边界 至 少 有 一 正则 时 ,两 方 称 有 无 穷 多 个 公共 的 基 
本 解 . 

04) 当 7 自然 ,r 流出 时 , 问 后 方程 的 初 值 问题 有 无 穷 多 解 , 而 
向 前 方程 的 初 值 问题 有 基 礁 一 确定 的 . 

《5) 当 : 上 自然 而 > 正则 时 ,两 方程 的 初 值 问 题 都 有 无 穷 多 解 . 


25. 3. 3 科 尔 莫 龙 罗 夫 方程 的 解法 


科 尔 莫 - 世 罗 天 方程 是 抽 物 型 偏 徽 分 方程 ,这 类 方程 最 丰 用 的 
方法 是 分 襄 变 量 法 与 拉 普 拉 其 [变换 法 (或 相当 的 特征 也 数 法 ). 

《1) 分 离 变 量 法 ;由 是 久 在 方 得 中 任意 阅 定 , 故 许 次 转移 密 
度 函 数 pt ,ry) 可 简 记 ty) 如 了 (.y) 可 分 离 变 本, 即 可 写 
AEr9) 二 gy07T00), 则 代入 科 尔 莫 总 罗 夫 力 程 邮 吕 得 到 关于 :各 
关于 y 的 两 个 常 微分 方程 ,从 而 求解 . 

(2) 了 - 亦 换 法 :对 p(s;tyy) 作 拉 普 拉 斯 变 搁 : 


对 :Cox 一 | pOrtsts ye td, 
对 9， p, (tT:AYy) 一 | prst ye “ds, 
[9 


对 向 前 ! 后] 科 尔 莫 成 罗 去 方程 ,两 边 对 t[sj 作 控 普 拉 斯 灰 换 ， 
得 到 关于 y[xj 的 非 齐 次 二 阶 常 微分 方程 . 解 这 个 常 微分 方程 ,并 
将 所 得 解 反 演 求 出 p(s ,zx;t,y). 在 一 些 简 单 情 况 可 以 查 拉 普 拉 斯 
变换 表 ( 人 参阅 附 表 10), 否 则 要 利用 复 变 函数 论 中 的 围 道 积分 
技术 ， 
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25. 3. 4 几 类 扩散 过 程 的 科 尔 英 七 罗 夫 方程 


由 下 … 定 理 , 立 即 可 判断 本 段 所 刻 的 几 类 过 程 是 一 扩散 过 程 ， 

定理 25.3.3 扩散 基本 变换 定理 ( elementary 
transformation theorem for diffusion) 设 { 了 (Ej),t 宇 0) 是 注 
25. 2. 242) 中 的 扩散 过 程 , 且 规 则 相 空 间 为 区 间 [其 端点 为 /和 
的 . 叉 设 { 瑟 人 有 无 穷 小 参数 p(x) 和 (zx). 令 gg 为 IT 上 严格 
单调 表 数 且 在 了 内 有 这 续 二 阶 导数 , 则 了 (好 一 &[ 和 GD) 定义 一 个 
值 在 以 gs 和 SC) 为 端点 的 区 间 上 的 规则 扩散 过 程 , 且 有 无 穷 小 
参数 


-一 1 pe mn oF t 
jme = Bo Ce)8" (7) + Hg To 1 


ay) = oar) Le" (Cr) 1. 
其 中 y= 一 glx). 
(1) 标准 布朗 运动 ( 见 定义 26. 1. 2)(B,),wo 的 科 尔 葛 巧 罗 夫 向 
后 方程 是 


一 二 二 二 tC om (C25, 18) 


在 1=0 的 适当 初 值 条 件 下 [ [pwx,2)dz 一 8Cy 一 z)wt40| 有 
唯一 转移 密度 解 , 它 是 高 斯 核 (kernel). 


i 
fs > 一 
Hi) 一 


tO, ryE€E (— 0500) (25.19) 

(2) 有 漂移 的 布朗 运动 (Brownian motion with drift》W, 二 

cz 有 十 65, 它 是 无 穷 小 参数 aeCz) 一 ABCz) 一 于 的 扩散 过 程 , 其 向 后 
方程 是 


dF _ 3 1 
3 Hart 2° 


exp{™— Cy — XY /21), 


2 
:&， tf 0 ~ ory on, 


(25, 20) 
"Ho4* 


在 :一 0 的 适当 初 值 条 件 下 有 唯一 的 转移 酸 率 密 虞 解 
PTsy) = phot sr Hy). 【25. 21) 
《3) 丙 恩 斯 坦 . 乌 伦 信 遍 (Ornstein-Uhlenbech) 过 程 (V,),,， 

大 tr) 一 一 思 .5(x) 二 的 扩散 过 程 ,其 向 后 方程 是 


dp 2p 1 .9:p 
dr Bx 3x 2 gz 


一 oxy oo. (25. 22) 
唯一 的 概率 密度 解 是 | 在 边界 条 件 lim yp 一 0 lim 3p 之 下 |. 


(tryy) 一 允 | 1 -ee 2) ,re ”| ， (25. 23) 


(V0) 与 布衣 运动 (5B,) 则 关系 是 
VU) =—=e Boe 一 1)725)， 
C4) 节 25. 1 中 无 限制 游 动 的 扩散 近似 ,其 向 前 方程 为 


af af az 
3 Cyt pay fy) = p09). 
. (25. 24} 
其 唯一 的 概率 密度 解 
Ai 人 一 一 上 expf 一 (y ~— 2C4)/(4De))} (25. 25) 


2 vv nD 


25. 4 平稳 分 布 . 首 中 时 及 其 泛 函 


25. 4. 1 平稳 分 布 


设 有 无 穷 小 参数 atxr) ,5b(z),T 一 U7) 中 齐 次 的 扩散 过 程 ,有 
转移 密度 且 平 稳 分 布 存 在 , 则 平稳 密度 ytx) 满 足 


py) = | pC ry) de, 1 > 0. (25. 26) 


少 满 足 的 微分 方程 是 
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EE 3 
0 二 记 [6CD)%(y) 一 Fo (25.27) 
解 出 的 平稳 分 布 是 
、 Sx) 1 
BT) TO RB 十 5 yb 


其 中 sr),5Cr) 及 my(x) 见 定义 25. 5.3 和 定 你 25.5,4, 常 数 记 ,， 
Cs 由 "W(x) 为 概率 密度 渔 数 * 这 一 条 件 求 出 :V(r) 守 0,XEE Cr 


[gcaydx = 1. 如 这 样 的 Ci 与 C, 找 不 到 , 则 平稳 密度 不 存在 ， 


25.4.2 首 中 时 及 其 泛 函 


令 X 一 (KDJierT=Gsr) 为 齐 次 规则 扩散 过 程 ,无 穷 小 参数 
az) 与 bz)m0 连 续 , 邻 

Ttz 一 in 一 Tt20 点 工 的 首 中 时 Chitting time)) 

例 25.4.1 首 中 时 的 几 个 有 关 汉 函 

(C1) utr) APTOO LT Rr, 满足 


dau 1 di 
| 二 十 FO) 元 3， 有 
ua) = 0, ulb)=1. 
Sr)— Sa) 
解 得 ur) Sp Sy CS 
(2) vr ELT' | 和 一 za<r<5<zry 其 中 了 "一 了 Ca) 
AT 满足 


名 
| 1 = a(lr) 至 十 56(z) 3， 


vla} = vb) = 0. 
解 得 
vx) = 2 {ue) | [Se) — SO) mC)dy 
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十 [1i 一 wz 站 | [Son 一 SCa) Jm (yydy). 


(3) w(x) 会 E[{ gods lx -zl<a<r<b<r, 其 
中 如 是 有 界 连 续 函 数 ， 当 gtx) 表示 该 过 程 在 状态 x 所 需 的 费用 
这 , 则 4 生 ecxod 将 是 直到 跑 出 (4a,5) 时 为 止 的 总 费用 , 取 
gfz) 三 ], 则 4 三 了 . 
ztr) 满 足 
| grT) 一 GT) 符 十 36(x) 和， 


Ya 一 区 人) = 0. 


解 得 
记 {)》 一 2{zco| [SC — S(ty) mty a(ty dy 


十 [1 一 ux)]| [SCy) 一 So]mCy)gCy)dy| 


[ 
一 | Gry gy dy, 


其 中 


[SCx} -SS 一 So 1 
(的 一 六 (ay)》 bly)sey)’ 4 过 了 入 ?太刀 


[St 一 Sr LS) — $Ca)] 1 
2 SO Sa) VO YT 


称 GCrsyy) 为 过 程 羡 在 [a;8jJ 上 的 格林 函数 . 
上 述 诸 式 中 之 SCr),sCr) 及 mlx) 见 定 六 25,5.3 和 25.5.4. 


G{r + 一 


25.5 规则 扩散 过 程 的 边界 分 类 
科 尔 黄龙 罗 夫 方程 不 能 唯一 决定 扩散 过 程 ,要 考虑 边界 条 件 . 
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25. 5. 1 四 个 函数 


定义 25.5.1 如 对 和 任 一 1 守 0,P,(X, 二 xX) 会 P(X=x|Xo 二 xx) 
二 1 则 称 此 点 xEE 为 天 的 吸 上 收 点 (absorbing point), 如 x 为 吸 
收 点 ,出 对 一 切 z: 和 fFE BC(E) 有 T(x) 二 Ef 了 CX 二 fx). 

如 > 不 是 吸收 点 , 则 存在 z 的 邻 式 忆 , 使 Eee 一 co, 一 切 
yEU, 这 里 er 为 首次 流出 上 的 时 间 ;ew 一 inf Ct: 义 ,和 U1 这 0)， 

定义 25.5.2 设 久 是 区 癌 了 上 的 扩散 过 程 ,1 的 卫 端 点 /<<7， 
均 可 开 可 闭 , 也 可 取 到 泡 穷 . 设 EO) ;如 对 任 yr)， 
P(r 二 00) 汪 0, 则 称 x 是 过 程 关 的 规则 点 Crequalr point), 这 里 
Tt, 是 到 首 中 yy 的 时 刻 . 如 X 的 每 一 状态 均 为 规则 , 则 称 藉 为 规则 
过 程 (regular process)， 

定义 25.5.3 尺度 精 数 与 尺度 测度 XX 的 无 穷 小 位 移 和 方 
差分 别 为 azr7 和 Br)20. 令 


SC 一 exp| 一 | [2a Cr} br) dz)， 


SCr) 一 | sas, so E (Lr), 
称 Stz) 为 下 的 尺度 六 数 (scale function). 
对 J 二 [eyd]CGr), 令 SL] 二 SCd) 一 $Ce), 由 集 胃 数 SL 


产生 的 测度 称 为 尺度 测度 (scale measure)， 
定 光 25.5.4 速度 函数 与 速度 测度 由 速度 密度 (speed 


EE 
densityym(z) 二 1/[5Ce)str) 决定 集 录 数 好 [站 = | mxzydry 由 


此 产生 的 测度 称 为 速度 测 麻 (speed measure)， 
定义 25.5.5 四 个 函数 SU,rj,3(D ,MOU,zj] 和 NOW) 
(之 limS[e,z], {rr. 


ZY | MLy,zlds(y). 
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801 一 limM[a ,+ |. 
由 


NODA 上 seawon 一 | Mc, yds 06»). 


粗略 地 说 ,3 是 度 基 到 达 边 界 点 上 所 花费 的 时 间 ,或 是 从 内 
点 < 出 发 到 达 内 点 总 的 时 间 ,ACG ,x] 度 量 瑟 在 i 附近 的 速度 
市 K5D 是 从 边界 出 发 到 达 内 点 zE Gor 所 用 的 时 间 . 

定义 25.5.6 如 Srj]<co 任 zxEcr) 则 称 边界 ?为 吸 
引 的 (attracting). 如 (四 过 co, 则 称 ! 为 可 达 的 (attainable) ,反之 
称 不 可 达 的 (unattainable). 

对 边界 > 可 仿 上 定义 S[Lzyr ,ZE(r)? 等 等 ,进行 分 类 . 


25.5.2 边界 分 类 


按 四 个 阔 数 是 理 无 穷 而 对 边界 ! 分 类 . 由 于 四 个 函数 的 内 在 
关系 (CNY 人 (Aces 几 人 人 cp 站 二 op 二 30 co 以 及 三 (CD 
十 NCOD==5C,xzjXMU,zx]) ,只 有 六 种 可 能 的 组 合 . 在 美国 通行 
的 费 勒 分 类 ,与 前 苏联 学 者 采用 的 略 有 不 同 . 

边界 ! 分 类 表 如 表 25. 1. 


表 25.1 览 勒 分 类 及 前 苏联 分 类 比较 


判别 边界 术语 
CC EU) | ND 费 鹏 前 苏联 
oo | oa | oo | oo 规则 可 
| ， 
< = < 人 ee | 一 co 流出 要 达 
Loo! | 一 oo | 一 oo 一 co 自然 吸引 上 且 不 可 达 不 
00'|=o0 | =00 | 一 op |] (3 一 co， -| 可 
不 
CD DC” Ce [es] ED 一 oo ct 白 然 ， 吸 还 
一 ce | < = |] 流入 rj 引 


骨 中 x 号 表示 该 行 成 立 的 一 个 起 码 的 充分 条 件 . 
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边界 大 致 性 态 : 

C1) 规则 边界 (regular boundary》 规则 边界 经 可 进入 也 全 
离开 . 当 并 [全 门 王 ce 为 吸引 ML 二 0 时 为 反射 ;而 
0<<AfF{ID]<c 时 边界 为 一 粘性 鉴 , 质 点 在 边界 上 有 一 个 严格 正 
的 持续 时 间 , 只 是 这 桂 续 时 间 不 含 任何 区 问 ， 

另 一 可 能 是 质点 在 首 达 ! 时 重新 开始 这 个 状态 空间 在 内 部 的 
过 程 , 此 过 程 可 以 是 马尔 可 去 过 程 . 却 因 轨 道 不 处 处 连续 而 不 是 扩 
散 过 程 . 此 过 程 的 转移 密度 满足 向 后 方程 . 

(2) 流出 边界 (exit boundary) ”向 着 边界 的 漂移 可 以 是 这 样 
的 ,使 得 边界 自动 地 起 吸收 尽 作 用 ,因此 木 能 加 上 过 界 条 件 去 解 科 
尔 黄龙 罗 夫 扩散 方程 . 马尔 可 夫 性 有 可 能 保留 , 如 保留 ,在 ! 处 过 
程 的 持续 时 间 必 遵从 指数 分 布 ,以 一 定 的 概率 规律 ,一 步 跳 进 
(Cr 央 ， 

《3) 流 人 边界 (entrance boundary) 从 状态 空间 内 部 不 可 能 
到 达 一 个 流入 边界 ,但 从 此 边界 出 发 时 却 很 快 跑 到 区 间 内 部 ,并 且 
不 再 回 到 该 流入 边界 ， 

(4) 费 勒 自然 边界 (Feller natural boundary) 这 样 一 个 扩散 
过 程 既 不 能 在 有 限 伴 均 时 间 内 到 达 边 界 , 也 不 能 自 一 个 自然 过 界 
开始 . 国 此 状态 空间 中 可 略 去 费 勒 意义 下 的 自然 边界 点 ,在 扩散 方 
程 的 求解 时 不 必 在 端点 附加 边界 条 件 . 


25.6 几 个 例子 与 应 用 


作为 扩散 过 程 一 个 重要 特价 的 布朗 运动 过 程 (也 称 维 纳 - 列 维 
(Wiener-Levy) 过 程 ) ,及 其 有 关 的 过 程 ( 有 吸引 或 反射 的 布朗 运 
动 、 有 漂移 的 布朗 运动 .几何 布朗 运动 及 布朗 桥 过 程 ) 的 定义 与 应 
用 , 见 节 26.1 和 节 26.4. 

1. 奥 恩 斯 坦 - 乌 伦 贝克 过 程 可 作为 爱 伦 菲 斯 特 (Ehrenfest ) 模 
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型 的 扩散 近似 ,也 可 作 一 个 物理 过 程 的 模拟 . 
41) 爱 伦 非 斯 特 模型 刻画 在 (一 N,N) 间 整数 点 上 的 如 下 洲 


动 ; p;;. -二 [1+ 丰 | ,pr 一方 [1 一 识 | ' 而 在 边界 有 弹射 ; 


pw wi1 二 1 二 p wi 仿 25.1.2 引 例 但 选 At 和 Ax 使 (2 ~ 
及 NA 一 DB ,B>0. 则 极限 过 渡 得 到 齐 次 扩 敬 过程 ,无 穿 小 位 移 
eat) 一 一 有 rz 无 穷 小 方差 (人 ?一 

《2) 一 个 自由 质点 在 开始 (=0)H 时 速度 为 x ,确定 :后 速度 介 
于 与 +dy 之 闻 的 概率 . 奥 恩 斯坦 - 乌 伦 贝克 得 到 的 速度 的 转移 
密度 PCerz,y) 应 满足 下 8 十 生起 其 中 2 一 7mve 
2fkT ya ,了 是 摩擦 系数 ,m 是 质点 的 质量 ,为 粘 洁 系数 ,了 绝对 
温度 , 这 是 a(x) 二 一 Bx,65Cz) 二 的 扩散 过 程 的 向 前 方程 ,其 解 见 
(25.23) ,其 均值 函数 吉 忆 ) 二 xe *#, 方 着 ce) 一 六 (1 一 e ). 当 1 


一 co 时 pLt,x,3) 趋 于 正 态 密度 -3exp{ 一 By*/a)， 如 X。 有 此 


v re7 有 
正 态 分 布 密度 , 则 X, 的 分 布 密度 也 是 它 , 即 上 述 分 布 有 平稳 分 布 
性 质 . 


2. 焉 传 模 型 及 有 关 扩 散 近 似 

(1) 赖 特 - 费 西 尔 (Wright-Fisher) 模 型 ” 设 一 群体 太 小 为 常 
数 N, 其 中 有 :个 4 型 个 体 和 NN 一 i 个 a 型 个 体 .一 个 4 型 休 体 一 
次 生育 中 转换 为 一 个 a 型 的 概率 为 ,而 a 型 转换 为 4 型 概率 为 
.如 和 4 型 和 a 型 能 活 到 生育 下 一 代 的 能 力 之 比 为 1 十 和 1,s> 
90, 于 是 选择 4 型 较 优 于 a 型 .于 是 在 再 生育 之 前 生出 4 型 个 体 的 
期 望 比 率 为 p; 一 忆 十 路 pal/[( 十 sp4 十 spsj; 这 里 加 一 5 一 中 十 
CN—DB,p,—iat tN—D(1— BAB}. 

赖 特 - 费 西 尔 模 型 假定 次 一 代 的 构成 是 由 入 个 二 项 试验 所 次 
定 , 而 每 一 个 二 项 试验 中 转换 为 一 个 4 型 个 体 的 概率 为 p;, 则 群 
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体 过 程 {XX, 全 第 1 代 中 和 4 型 个 体 数 ,t 汪 0}, 是 一 马尔 可 夫 过 程 , 转 
N 
移 概 率 p;; 一 | i | 区 一声 
对 甚大 的 六 ,该 过 程 可 以 几 个 扩散 过 程 来 近似 : 
(1) 设 变种 效果 (mutation effects)a 一 号 >>0,8= 基 >0 一 0， 


则 在 生育 时 间 [Nr] 上 群体 中 4 型 个 体 比例 Yx (7) 一 XCLNr])/N， 
这 里 YC) 中 的 + 一 1, 对 应 下, 过 程 的 传 至 N 代 所 需 的 时 间 , 则 
{Yw (Ty ,rf 这 0} 之 极限 过 程 是 状态 空间 为 [0,1j 的 一 个 扩散 过 程 ,其 
无 窃 小 系数 为 aCy) 二 一 Py 十 7Y2(1 一 和 和 663) 二 y(1 一 >). 

(i) 设 a 二 B= 二 0 而 s=o/N, 过 程 Yw(D) 一 X(Nr]D/N 在 六 
足 散 天 时 可 视 为 a(y) 二 oy(1 一 y) ,6(y) 二 xy《1 一 的 扩散 过 程 . 

Ci) 设 0 过 a 有 8 之 1 而 ss 一 0, 则 对 大 的 N, 过 程 
Vw = (XO 一 N/a 有 CNaB/ta+B)")- 可 以 无 穷 小 系数 
ez) 一 一 (ae 十 px 各 5(z) 一 1 的 一 个 奥 因 斯坦 - 乌 伦 贝克 过 程 
近似 . 四 

(2) 印 生 过 程 (pure birth process ) 的 扩散 近似 ， 设 群 体 里 的 各 
个 个 体 生育 相 志 独立 ,在 时 刻 : 时 群体 大 小 为 ,在 人 十 下 ?时 眉 
内 生出 一 新 个 体 的 概率 为 ACx)At 十 oCA2) ,群体 大 小 变 为 z 十 1 以 
外 的 概率 为 oCAz) ,不 发 生 大 小 变化 的 概率 为 1 一 A(z2At 十 oAt). 
这 是 群体 增长 的 纯 生 过 程 , 当 群 体 相当 大 时 这 一 非 连续 过 程 可 视 
为 连续 的 . 特别 当 4(x) 三 2>0 时 可 能 的 一 个 扩散 近似 是 有 无 穷 小 
参数 ea(z) 一 arez) 一 有 r 的 齐 次 扩散 过 程 ,向 前 方程 为 


a ft, x) — a [zf ,zr}] 32[ zt 和) oo 
ar ~ ax 十 dr 0X0, 


应 用 费 勒 边界 分 类 判 据 可 知 z=0 为 流出 而 x 一 吕 是 自然 的 . 西 此 
在 z=0 处 无 边界 条 件 可 加 , 初 值 f(z,0) 则 任意 . 
令 和 一 aoez0: 则 费 勒 (1939 年 ,1951 年 ?证 明 解 是 
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past) [ac na 


Ple” 一 1) “1 
— aLxne” 十 zj]} 
x exp| Be 二 TD 上 


其 中 局 (。 ?为 第 一 类 贝 塞 尔 函 数 . 又 EX, 一 zoe”, 

(3) 核子 级 联 过 程 ,在 均匀 核 材 料 中 的 级 联 是 由 一 个 单位 能 
景 的 核子 (中 子 或 质子 ) 贯 穿 原子 核 引 起 的 . 这 一 芮 穿 导 致 更 多 核 
子 生成 ,它们 转 而 与 介质 的 其 它 原子 核 碰撞 . 令 (ei, ess" ,8 ;1) 
deidss，… ds 为 均匀 核 材 料 的 深度 1 处, 发现 有 x 个 位 于 能 重 比 
区 间 (eys 十 dc) 内 的 核子 ,而 其 它 地 方 没有 核子 的 微分 概率 ,se 一 
E/Eosi=1l. 2 Nn. Er 为 原核 子 的 能 量 , 五 ， 为 次 级 核子 能 重 . 
Messel 证 明 FF, 满足 n 维 扩散 方程 


aF, ! 
二 一 nF, 十 >| 下 (ee 
[bai 0 


dr 
WwW ,SE jerde, 

其 中 恒 '*,e,_s' 蚌 不 含 & 及 & 的 能 量 比 ,而 W(e ,er )de'de”dt 是 
一 个 能 量 为 E 的 原 粒子 在 (t,t 十 邮 ) 内 受 一 次 碰撞 产生 一 些 位 于 
能 量 区 间 (CE',E' 十 dE') 与 (E” ,E* 十 dE") 内 的 次 级 核子 的 概率 ， 


这 里 二 B/Eoye" 一 E"/Es, 而 W 是 齐 次 函数 .此 方程 解 为 


2" as 
F, = 而 Ti 并 (CE ED) 


ES 2 Fie 
其 中 | oy 和 Li a ice 1 | 1 ny 


1 
本 一 IT DW Css 十 … 十 3 ) ， 
P| 
Wi (Cs; ,5;) 一 [| esw eeddede, 
oa 
求 和 Dy 表示 对 329 34， 人 >， 3 这 十 1 个 变量 中 任 选 二 个 所 
了 下 
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得 的 一 切 组 合 求 和 . 
fl =e (le )"™. 


25. 7 多维 扩散 过 程 


该 n 维 随 机 商量 过 程 (stochastic vector process) 吕 人 f) 全 
CX XCD ,及 (ft)) ,tf 这 0 的 状态 空间 是 = 维 爽 氏 空间 R”， 
或 它 的 一 个 开 区 域 ,概率 转移 分 布 函数 是 
Flforst tt A FR Tt TT A Ys Ye) 

— P(X 二 让) 各 
i= 20 NK) = zi = 1 nn). 
这 里 == Cr yr ox) yy 二 Cyrya Ty) EER". 
以 Ss 记 以 z 为 圆心 .半径 人 2>0 的 球 ,连续 性 条 件 (25. 4) 现 在 是 


lim| dFltyrit i Aty) 一 0. (25. 29) 
FS, 


代 圭 (25.5) 和 (25. 6) ,分别 是 


lim 起 | — zdF ltrst + ty) 


At— 人 0 


—lim BEX, 十 A) — RC) {XC = 7) 
二 tr 让 
会 Gift) j= 1 2, C25. 30) 


lim 去 | =- XCy 一 TdF rt At,y) 
ar A 


一 lim EL(X, (二 At) — KARE + AA) 


Ao ht 
一 X(N | RG) = x] 
一 已 if sx) 7 CO ln, (25, 31) 


其 中 BG ,zx) 二 (537)) sx: 正定 , (25.29) 可 强化 为 
as 564 。 


lim 二 | dFCzrir 二 At 二 0 《25. 32) 
ai A 三 bb 


及 更 强 的 
lim a| ry rdFrst + Aty) = 0. (25.33) 

当 (25. 33) 成 立时 ,(25. 31) 和 (25. 32) 可 写 为 在 5 上 积分 的 
截 尾 矩形 式 . 

仿 一 维 情形 可 定义 维 扩散 过 程 . 在 ?二 与 二 存在 且 连 
9， 可 建 世 = 伟 扩 艇 过程 的 科 条 训 区 二 天 站 避让 

- >“ (3， z) 5 3 一 一 二 > sz) 本 一 3 二 (25. 34) 

如 a 维和 科 密度 到 pow 上 存在 , 则 可 以 p 易 (25. 34) 之 下 . 
类 似 地 癌 前 方程 是 


ap 2 [a; S22] 9:[6, (1,y)p] 
了 一 > 十 ;> 5 (25.35) 


将 一 由 扩大 过 程 的 站 论 平行 移 术 3 2? 维 扩散 过 程 ,无 实质 性 
困难 . 详细 的 讨论 见 专著 [78j, 其 中 还 以 现代 方法 一 闭 , 作 为 工具 ， 


26 布朗 运动 
26. 1 引言 与 定义 


26. 1.1 引言 与 例 


布朗 运动 过 程 C(Brown motioen processes) 有 时 称 为 维 纳 
《Wiener) 过 程 ,是 应 用 概率 论 中 最 有 用 的 随机 过 程 之 一 . 英国 植 
物 学 家 布衣 (Robert Brown) 首 先 观察 到 了 ,一 个 完全 没入 淤 体 中 
或 气体 里 的 小 微粒 是 怎样 作 不 规则 运动 的 . 1905 年 爱 因 斯 坦 
(Einstein ) 首 先 解 释 了 这 种 现象 ,认为 是 该 粒子 不 断 地 爱 到 周围 介 
质 分 于 的 碰撞 造成 的 . 维 纳 在 1918 年 给 出 了 布朗 运动 的 定义 ， 

布朗 运动 有 效 地 用 在 品行 的 统计 ,检验 ,分 析 股 票 市 场 的 价格 
水 平 ,量子 力学 ,以 及 系统 控制 等 方面 . 布朗 运动 的 研究 带动 随机 
分 析 . 蒜 论 及 随机 微分 方程 的 研究 ; 它 与 古典 位 势 间 联系 的 发 现 ， 
导致 对 马尔 可 去 过 程 与 位 势 理论 之 间 联 系 的 深刻 研究 ,从 而 成 为 
现代 概率 论 的 一 个 重要 生长 点 . 

例 26.1.1 布朗 运动 ”布朗 运动 可 以 解释 为 对 称 的 随机 游 
动 (random walk) 的 极限 . 考虑 节 25.1.2 中 引 例 ,XX, 是 一 粒子 在 
时 刻 攻关 0 的 位 置 . 在 式 (25. 2) 中 令 C=0, 则 p= 二 gq 二 1/2, 为 对 称 
的 游 动 . 令 At0, 作 极限 过 沪 , 知 {XX,,t 实 0 是 平稳 独立 增 量 过 程 ， 


且 XC~N(0,2D) ,DO 3 DD= 志 ,此 过 程 即 为 布朗 运动 过 程 


26. 1. 2 4 维 布朗 运动 定义 


定义 26. 1. 2 维 布朗 运动 ”概率 空间 (0, 多 ,P) 上 的 运 维 
566。 


连续 随机 过 程 8 二 {8B,,1 关 0) , 且 满足 ; 

(1) 对 任 # 及 0th <<…<6, 增 量 BB, 一 BB 一 B，**， 
已 一 号 ,相互 独立 ; 

(2) 对 任 s 宇 0,t 守 0,B,, 一 B,~N (C0,11), 即 均值 向 量 为 0, 协 
方差 阵 为 姬 的 a 维 正 态 分 布 ,这 里 了 为 4xd 单位 阵 . 

Bo 一 0 时 的 布衣 运 动 , 称 为 标准 的 Cstandard). 

注 26.13 记号 BM 二 布朗 运动 

由 定义 知 ,8,.. 一 B, 的 概率 密度 为 

PU) = (Dm) exp{— [rl/2), x ER (26.1) 

B. 的 分 布 则 依赖 于 开始 分 布 , 即 Bs 的 分 布 K(。) = 
Pi 人，) EW 由 Bo 与 B 一 Bo 独立 及 卷 积 公式 , 知 对 AE 
Br 


PtB,€ A) =| [Jo Cam) diexp(— | » 1/2pcde) jay 


C26. 27 
若 令 吝 一 8B 一 By 则 囊 = {BB.,t 尝 0} 也 是 BM, 且 有 有 零 初 值 . 因此 常 
可 设 BM 有 零 初 值 ,或 径直 将 零 初 值 写 进 定义 中 去 ,此 时 它 是 一 马 
尔 可 去 过 程 . 


26.2 布朗 运动 的 性 质 


性 质 26. 2, 工 不 变性 finvariance ) 

(1) 正 迹 (orthogonal) 不 变性 设 磋 是 中 正 交 变 找 , 则 
HBA{HByt 守 0} 也 是 RM 

(2) 平移 (translation) 不 变性 a 十 BA 人 ia 十 Bf 宇 0} 也 是 
BM ,其 中 ER’; 

(3) 尺度 Cscale) 不 变性 {BCe/ we ,t 守 0), 仍 是 BM ,其 中 
0 
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性 质 26. 2. 2 列 维 (Lévy) 振 动 性 质 ”对 Vs 一 <n 捞 < 

=s2 di ti tirh maxdti AB, 一 刁 —B, 有 
El DY CAB) — Cs — a) 2h(ss — #1). 

性 质 26. 2.3 分 析 性 质 ”BM 的 样本 函数 以 概率 1 连续 ,但 
在 上 的 任何 月 限 区 间 都 不 是 有 界 变 差 的 . 

BM 这 一 特性 使 它 常 可 用 来 描述 市 场 及 股票 等 价格 的 变化 ， 
在 电信 和 控制 系统 中 刻画 噪声 和 随机 扰动 . 这 一 性 质 还 使 B. 在 普 
通 意 义 下 处 处 不 可 徽 . 寻找 新 的 微分 定义 并 研究 它们 ,成 为 经 典 随 
机 分 析 一 主要 内 容 , 大 大 促进 了 挝 论 与 随机 微分 方程 论 的 发 展 ,并 
使 它们 在 应 用 领域 成 为 有 力 的 工具 (参见 节 30.2,30,5,31.1 及 
31.6 等 ). 

定理 26. 2.4 最 大 值 分 布 设 4=1 且 B=(B,) 为 标准 BM ， 


1 es 
则 PlmaxB, 4a) = 一 -一 | 2 
Ea 地 /ot ， e dx 


定理 26. 2.5 重 对 数 律 (law of the iterated logarithm) 设 
d=1， . 
lim supB./ v2tlog logt "= 1 

定理 26. 2.6 反正 该 律 (arc sine law) 设 B= (Bi) 为 一 维 
标准 BM , 则 对 任 xE (0,1)， 

P( 区 间 {zxt;t 中 BB 无 零 ) 一 全 arcsin A 
二 PC([0;t]j 中 8 为 正 的 总 时 间 筷 x2)， 
F 面 讨论 4 维 BM 的 转移 概率 密度 . 设 上 >0,z,yE R*, 令 
声 (t 9) = pliyy — 7) 一 (ont) exp(— |y — x|:/2t). 
(C26. 3) 
当 开 始 分 布 集中 在 点 x 上 ,有 即 p(t{x))=P(B 二 x) 二 1, 则 由 
(26. 2)， 
P.(B,€ A) = | ph,r, ydy. (26. 4) 
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这 里 以 P, 易 PP 是 强调 开始 分 布 的 作用 ， 

由 此 式 , 可 解释 pCeyx'y) 为 : 自 点 出 发 作 BM 的 粒子 ,于 时 
刻 上 转移 到 点 y 附近 的 转移 概率 密度 . 

性 质 26. 2.7 ”转移 概率 密度 的 性 质 

(1) piyzyy) 对 xy yy 对称 , 旦 是 空间 齐 次 的 (spatiali 
homogeneous). 


C2) 


ECT YY) | tyr yd 


/ir 一 yl ， 当 d 之 3， 


oe, dd 
(3) 科 尔 莫 龙 罗 夫 向 前 方程 为 
prsy) 一 pr) 
向 后 方程 为 
Pty) 一 二 Fy). 


对 有 界 次 可 测 卫 数 六 定义 变换 工 ,; 
TF) = [fp dy, :> 0. 则 


C4) {T,}) 为 诗 缩 算 子 半 群 . 

(5) {17.) 的 强 无 穷 小 算 子 A=A12,A 为 拉 普 拉 斯 算 子 . 即 对 
有 界 . 二 次 连续 可 微 . 二 阶 偏 导 有 界 旦 在 R" 上 均匀 连续 的 函数 六， 
有 可 

AF(z) = Ep 2, 
性 质 26. 2.8 作为 马尔 可 天 过 程 的 BM 
(1) 如 B 为 零 初 值 的 BM , 即 标准 BM, 则 由 定义 268.1.2 知 BB 
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T= (xT ra). {26,.5) 


为 马尔 可 去 过 程 .又 若 令 .人 一 65 人 Bass 即 在 时 间 段 15 如 上 上 
BM 产生 的 go 代数) ,1 和 U 47, 则 对 国定 a,Br 和 Ba( 注 意 定 
义 26.2.1(2)) 在 .fa. 上 可 产生 满足 下 列 条 件 的 唯一 概率 测度 P,; 


对 任意 的 4i 生 .到 1 一 1 ,2 及 Ott 
PB: € Ass Bi: € A,) 


一 局 十 妇 全 A 一 ln) 


=|. pltisa da ptlts — tists der) 


| plts 一 加 .ye 17da.). 


则 {1B*,aE 玉 构成 一 马尔 可 夫 过 程 {18B; 他 ,Ps20aER), 简 

记 为 (BA 人 PN), 其 转移 密度 为 (26. 3). 它 是 由 各 点 出 发 的 BM 

所 共同 组 成 ， 四 
(C2) (Bs 人 ,了 及 (B,,-A_ PP 都 是 强 马尔 可 类 过 程 , 这 里 


= 站 Le 


BM 的 等 价 定义 与 推广 ; 
定理 26. 2.9 对 52, 多 ,P) 上 零 初 值 的 连续 过 程 B, 下 述 命 
题 等 价 ， 


1) BB 是 BM; 
(2) 对 Y AE R’ 及 1 计 s 守 0， 
Elew ea 人) = es [TP] 
(3) 对 Y ER 及 fs 字 0， 
(es my) = ei [EP]. 
由 此 可 将 BM 定义 稍 作 推广 :以 一 般 的 参考 族 ( 丈 ,) 代 替 由 过 
程 生 成 的 参考 族 (..13?). 所 谓 参 考 族 (reference family) 指 子 e 代数 
{1} (CE) , 且 满 是. 六 /性 如 ,ts 及 .更 4 一 元。 
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定义 26.2.30 广义 BM 或 ( 丈 ,)BM 对 (Dn, ,Py 上 4 维 连 
续 的 , {多 ,} 适 应 过 程 B= 1B,,t 实 0) ,如 满足 :¥ AGER2 及 这; 守 0， 
有 


Elews- Bg ) me ii Fp) 
注意 此 时 Bi 未 必 是 零 , 因 此 8 未 必 是 马尔 可 夫 过 程 . 但 可 证 
BB 一 是; 与 六 ,从 而 与 实 , 可 测 的 B,) 独 立 , 又 如 (B81) 是 C.F,)BM， 
则 (CB. 一 B,) 也 是 ,新 过 程 (8, 一 B86) 是 马尔 可 夫 过 程 . 
BM 的 其 他 定 六 ”BM 也 可 定 文 为 满足 EN, 二 0,cov(X,,， 
0 一 杂 G 之 0 的 Gauss 过 程 [71,187]. 零 初 值 BM 还 可 由 扩散 过 
程 获得 定义 (各 25. 3.4) ,漂移 系数 为 ,扩散 系数 为 1， 


26. 3 首 中 时 与 常 返 性 


26. 3. 1 首 中 时 与 首 中 点 


近代 马尔 可 去 过 程 论 中 -- 个 极 重 要 的 概念 是 首 中 某 集 的 时 
间 . 对 4 维 BM , 集 4E.B* 的 首 中 时 Chitting time)ha 定义 为 

inf(t: S30,B, € 4)， 
tea, 如 上 述 上 集 为 空 ， 
它 是 第 一 次 击 中 (到 这)4 的 闭 包 的 时 刻 , 也 是 4 = R\A 的 首 
出 时 . 

1. 首 中 时 性 质 

性 质 26. 3.1 ka 为 马尔 可 去 时间 (24,. 3. 4). 

性 质 26. 3.2 零 一 律 (zero or cone law) Pa 一 0) 一 0 或 
ls¥ 并 下 < 

定义 26.3.3 如 了 (Ci 一 0) 一 1， 称 了 ER 为 二 的 规则 点 
Cregular point)3 否则 称 为 4 的 非 规则 点 (Cirregular point). 

4 的 规则 点 全 体 记 为 4. 4 的 边界 34 人 44 上 的 点 既 可 是 
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规则 点 ,也 可 是 非 规 则 点 ,这 里 五 为 4 之 团 包 ,A 为 站 之 内 点 
全 体 ， 

性 质 26.3.4 A'CA'CA, 而 LCAN\A 二 0, 其 中 (J) 表 勒 
贝 格 5Lebesque) 测 度 . 

性 质 26. 3.5 fxr,DAP, CE ,rE R00 则 

Cl) 固定 rrst) 是 上 的 连续 岁数 ; 间 定 fy 对 它 是 下 半 连 
续 的 (lower semi-continuous ) :Bllimf yt) f(r) 0, 

C2) limP. spa<cc) 一 0 在 紧 集 上 为 一 致 ， 

(3) 4 为 紧 集 时 f(x, 丰 是 热传导 问题 


do 
| 3A7, ti»0, rE A A RNA, 
fxd0) = 0 EA Rlimf(r) =1yE ANA' 
(26. 6) 
的 唯一 解 . 


所 此 可 视 /(z,) 为 时 刻 + 在 rE 4 上 的 温度 ,而 | .Fr,z)dz 
为 时 刻 上 自 44 消 和 人 周围 介质 4 中 的 总 能 量 殖 4t).d 一 3 一 oo 时 
at) 二 tC(AD 二 462 -2[CCA)jJ4 训 O02), 其 中 CeA) 为 
4E 的 容 度 (26. 5. 11). 

性 质 26. 3.6 对 用 首次 通过 公式 ,有 

(1) 设 4,41E 5987, 则 
P(tB,E€E A =P,(B, 后 Ah 1) 


+ | | PCB, € AVP(ha € ds,B(hs) € da)s 
Da 如 


《2》 E(B,) 一 E(B,) sa > 上 
十 | E ds, Blha) € da), 


其 中 B04) 为 首 中 点 ,fx) 为 任 一 可 积 孙 数 ， 
= 了 2 。 


2. 球面 首 中 时 与 首 中 点 性 质 
记 有 .为 4 维 球面 $= 二 {7:|z| 一 rr 之 0 的 首 中 时 ,这 时 |x| 


= (De), 
了 [所 
定理 26. 3.7 pe ' 如 


lal>r. 
{2) Eh,—=ri/d; 
《3) Eh=(r |al /ad, |aler,.ad2. 


(4) Pu >0) = Y) “gaexp| 一 | 宇 0， 


其 中 以 是 贝 塞 尔 画 数 (zz 一 全 一 1 的 正 零点 ,又 如 


一 人 2 十 TiCes》 
(5) Eee 一 | | TV 2XNa /Vad), 
Eve = (Cr v2oAY /ZL v2A)T OH). 
其 中 了 /为 修正 的 贝 塞 尔 函 数 ,一 所 一 1 ,4 之 2,0<|al<r,2>0 
定理 26.3.8 (1) PACBCADE A)=U,(4), 可 测 集 4CS. 
即 对 P,, Bk,)y 有 球面 上 的 均 义 分 布 . 
(2) P,(BO,) € 4) = | lIzl ra ~ x| Uda), 


Y 球 内 的 点 ,|zx| 之 
3, 一 维 情形 
d 二 1 时 BM 的 首 中 时 ,有 下 述 公 式 


Ph, = 0) =1， 


Ph Edi) = |y — zr|(2rm) -ie 0nd, 


这 里 六 , 为首 中 点 z 的 时 间 ， 
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26. 3.2 常 返 性 


定义 26.3.9 如 PL 一 00) 二 1 ,WY xzER, 则 称 集 4 为 常 返 
的 (recurrent) ,否则 为 暂 留 的 (transient) ,这 里 La 为 4 的 末 敲 时 
CJast cxit time or quitting time) ;tT 
一 supf1ti0<t GE43; 一 0 如 前 述 * 集 空 . 
这 里 {X,,t 宇 0) 为 任 一 随机 过 程 . 又 如 P, (im|X,| 一 20) 二 0,Y x 
E R*, 则 称 此 过 程 常 运 ; 如 上 一 概率 为 1 , 称 这 程 御 留 . 

性 质 26. 3. 10 ”BM 的 常 返 性 

(1) 如 AEB 且 了 PP. hi 之 5) 一 1 在 Re 上 成 立 ; 则 A 常 返 ， 
否则 为 暂 留 集 . 

(2) ds2 时 非 极 集 为 常 返 的 ,4d 宇 3 时 任 一 有 界 集 为 暂 留 集 . 

所 谓 极 集 (polar set) ,指使 Pi<co) 一 0 在 司 上 成 立 的 集 
A.dd 二 1 时, 任 一 非 空 集 为 常 返 , 故 非 极 集 . 而 4& 关 2 时 , 任 一 单 点 
集 为 极 集 ;相对 紧 集 [ 紧 集 (comparet)] 为 极 集 的 充 要 条 件 是 其 容 度 
《 见 定义 26.5. 1 为 0[ 其 为 朴 集 ]. 

(3) BM 在 4 所 2 时 常 返 ,4 兰 3 时 暂 留 . 


26.4 布朗 运动 的 变种 与 布朗 桥 


26. 4. 1 ”布朗 运动 变种 及 应 用 


设 瑟 为 dd=1 的 BM., 这 里 介绍 几 关 吾 的 函数 的 过 程 , 它 们 实 
际 上 已 不 是 BM, 以 W, 一 oB, 十 jt, 即 有 漂移 系数 上 扩散 系数 为 c 
的 布朗 运动 (定义 26. 4. 10) 来 代替 下 述 定义 中 的 BB, 从 而 拓 广 概 
念 和 讨论 . 
定义 26. 4.1 设 记 为 {zx} 的 首 中 时 , 令 
Z. 二 BB 如 1h; 二 xX 如 th. 
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称 1Z. 导 衬 0)} 是 在 > 月 吸引 的 BM {Brownian motion absorbed at 
z) + 它 的 分 布 有 离散 与 连续 两 部 分 : 


| 一 Fr) 一 2 | exp— YA2tdY。 


Ea 
PlZ Ey) = PB ED) PB, Ey, maxBts) > 7) 


一 2 上 Xp 一 uot dn, yr. 
vw ONE Yr 


定 26.4.2 令 Z=|B8,|,t 实 0, 称 27 二 {2Z4,t 宇 0) 为 在 原点 
反射 Crefleeted at the crigin) 的 BM ,其 df 太 矩 分 别 为 


|27v 玩 | exDft 一 12/2tdr 一 1， yy 0 
< — 


[E2,— /a/r, VOZ) 一 (1 — 2/m. 
反射 BM 的 Ckopoxon 分 解 ,可 读 [38,325J. 

定 沁 26.4.3 称 了 ,=65 tt 闻 0 为 几何 (geometric)BM. 

设 d 一 1,8, 一 0, 由 Ke 一 e* 人 ?得 
五 了 一 eV ) 一 e 一 上马 ， 

例 26.4.4 几何 BM 应 用 几何 BM 是 很 有 用 的 模型 , 它 适 
用 于 某 些 随机 量 比 值 变化 为 独立 同 分 布 情形 . 例如 Y, 表 时 刻 5 其 
商品 价格 ,并 认为 Y/Y 了 ,会 入, 为 1.1d( 即 独立 间 分 布 ), 旦 六 三 
1 则 于, 一 着 对 logrv 作 适 当 规范 化 ,由 中 心 极限 定理 知 
可 近似 为 BM ,从 而 {7。.} 为 渐 近 乒 何 BM. 

例 26.4.5 设 某 股票 现在 价格 为 y, 其 价格 变化 了 为 几何 
BM. 此 股票 在 将 来 某 时 刻 了 可 自 所 购 公 司 竞 得 辐 定 的 价值 
ECy). 某 人 买 了 这 份 股票 , 到 了 时 可 期 望 得 到 更 高 收益 的 期 
望 是 


-2T drda 


1 ee 
一 有 0] 一 一 -一 
Emaxl (Yr ) 0] 已 |， | 


* ofn 。 


定义 26.46 称 Z = ad: 汪 0 为 积分 BM (integrated 
Brownian motion)., 

结论 26. 4.7 基本 结论 

(1) {Zt 这 0} 是 高 斯 过 程 ,但 不 是 马尔 可 夫 过 程 ; 

(2) EZ,=0,cov(Z.,2)=s| 王宫 | ， 

(3) {CB,,20,t 宇 0} 是 马尔 可 夫 过 程 ，; 

(4) (BZO~ NO Ot /3, v 3 /2)., 

例 26.4.83 设 某 商品 价格 变化 率 就 是 当时 的 通货 膨胀 率 , 按 


BM 变化 , 则 以 Z, 表示 + 时刻 价格 时 ,人 一 吾 , 从 而 2 一 2。 十 


SR 


| ads {Z 一 2 sz 0 即 积分 BM. 
例 26.4.9 如 此 商品 价格 W, 变化 率 不 按 BM 变化 ,而 满足 


AW,= BW,. 取 评 ,二 1 则 WW 二 e5, 这 里 {2,,t 实 0} 为 积分 BM. 此 


时 已 HU 一 ec 

定义 26.4.10 称 过 程 尖 = {X,,t 之 0} 是 有 淋 称 系数 为 的 
BM CBM with drift pg) ,如 满足 

(1) Xs—=0, XK.~N(u,t), 

(2) 广 有 平稳 独立 增 量 ， 

换言之 , 叉 ,=B, 十 jxt;B 为 堆 初 值 BM.X 有 速率 为 产 的 一 个 
漂移 趋势 , 车 令 W, 一 cB 十 4, 则 称 为 有 洒 移 系数 为 x. 扩 散 系 数 为 
dz 的 BM. 

作为 随机 游 动 模 限 的 有 深 BM 设 -… 随 机 游 动 向 右 一 步 慨 率 
为 p=(l+p YY), 向 左 为 1 一 p, 且 在 (25.2) 中 取 
Ax 一 VAt ,A 一 0 即 得 有 漂移 系数 上 的 BM. 也 可 作为 扩散 过 程 的 


特例 ”可 视 为 漂移 系数 为 & 扩散 系数 为 1 的 扩散 过 程 ( 见 定 义 
* 576* 


25.2.1). 此 时 尺度 函数 SCr) 二 (1 一 e 和 喇 )A2a 速度 密度 m(r) 
一 ez 

性 质 26. 4. 11 性 质 与 公式 

C1) maxX./t A [P 如 #0. 

(2) 设 4>0,z>>0, 首 中 时 的 拉 普 拉 斯 变 式 
Jexp {lr 十 YA 十 24)) < 0， 
|exp{— rv 0. 

(3) 设 60, 一 p< 过 xa， 

ult) Ph Th) = (et ee) (er — em)., 

进一步 的 性 质 可 由 扩散 过 程 性 质 得 到 .作用 的 例子 可 读 [L71] 
节 6. 4. 


26. 4. 2 ”布朗 桥 


定 光 26. 4. 12 布朗 桥 (Brownian bridge) 定 义 为 均值 为 0 协 
方差 函数 为 530 一 1/T0) ,0 守 s 扩 [之 1 的 高 斯 过 程 ,天 会 和 X10 寺 t 之 
T,}. 

由 定义 26. 4. 12 知 X。 一 Xr, 一 0,a.e, 故 过 程 轨道 以 概率 1 两 
端 系 定 形成 一 “ 桥 ” 

性 质 26. 4. 13 ”基本 结论 

(1) 如 上 B 为 BM, 则 X=B 一 B。 元 Car BO<<ST， 为 
布朗 桥 , 且 它 与 (B。,Bz,} 独 立 . 


(2) 六 ,二 (1 一 7 (3 一 了,)“"1dB, 是 布朗 桥 . 


dt 二 dB, 的 在 0<1<T, 中 零 初 值 的 解 是 有 


2 


Fe 一 


(3) dX,= 


朗 桥 . 
(4) 条 件 随机 过 程 18,,0 扎 tz 志 1|B, 一 0} 是 一 [0,1] 上 的 布朗 
桥 , 这 里 B, 为 BM. 
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《5) 布朗 桥 习 的 有 限 维 分 布 函数 为 
POX, < ri = 1.n) 


= (p750,077 | of pis0s ype ry) 
po Cm tryaddydyd 
pzryy) 为 BM 的 转移 密度 . 

(6) 布朗 桥 区 是 马尔 可 夫 过 程 , 匡 可 道 , 即 Xr-…0 扫 ( 科 了 。 
也 是 布朗 桥 . 

(7) 蔗 是 [0,7。] 上 布朗 桥 ; 则 久 /CT, 一 丰 蚌 [0,T,6Y 上 独立 增 
量 过 程 , 且 为 高 斯 靳 ,其 特征 ( 见 式 29. 7) 为 t/TolTo 一 站 . 

(8) 布朗 桥 与 经 验 分 布 函数 ” 设 {X.}i,id,Ni(s) 为 六 1: 俯 2， 
,中 不 超过 5s 人 0,1) 的 个 数 , 则 书 () 一 No /rn 为 经 验 dd. 
(14. 2). 这 时 

(i 和 六 一 Ue: 则 604) 全 Vn CE 一 9) 和 [0,1] 的 极限 
过 程 (nx 一 o2) 是 [0,1j 上 布朗 桥 ， 

cii) 如 芳 ; 的 df 户 (x) 连 续 , 则 (0D 会 Va (9y) 一 FP(y,)) 
的 极限 过 程 是 [0,1] 上 布朗 桥 忆 ,这 里 y= '(s)》, 且 

limP Vn sup|F.(z) — F(x)| <a}l= PimaxlZ,| < al. 


26. 5 ”高 维 布朗 运动 的 牛顿 势 

设 d 宇 3;B 为 BM. 
26. 5. 1 调和 函数 

定义 26. 5.1 调和 函数 (harmonic function) 开 集 ACR’ 
中 实 画 数 h(x) ,在 4 中 连续 ,32 存在 且 满足 拉 普 拉 斯 方程 ,Ah 
会 >， 了 一 0. 
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定理 26. 5.2 邓肯 定理 没 4 为 相对 紧 ( 即 4 为 紧 集 ) 开 
集 ,x 在 有 4 连续 ,Ax 在 4 中 存在 连续 且 有 界 , 则 对 一 切 eaE4, 有 


EutBy] ua) = SE SCByds, (26.7) 
9 


其 中 。 为 A 的 首 出 时 . 
定理 26.5.3 函数 Atz) 在 开 集 4 中 调和 的 充 要 条 件 是 它 在 
4 下 局 部 可 积 (locally integrable)《 即 在 开 集 4 中 每 一 紧 集 上 工 
可 积 ) 且 有 球面 平均 性 , 即 对 Y eE A 及 球面 
Sta)= (ry|x ~a|l C=) CA,r>0, 


ha) = | ACXIU, (dr) = Evoh (lB, ) (26. 8) 
BE 


其 中 六 为 Sa 的 首 中 时 ,也 是 开 妹 BA (zr: [zx—al|<r) 
的 首 出 时 . 
当天 调和 时 ,还 可 证 明 有 球体 平均 性 ,利用 这 一 性 质 可 证 民 
上 调和 函数 若 有 上 界 或 下 界 , 则 必 为 常数 ， 

定理 26. 5.4 极 值 原 理 (extremum principle) 或 极 大 极 小 值 
原理 Cprineiple of maximum and minimum values) 

在 有 界 开 集 4 中 调 相 且 在 4 连续 的 阴 数 及 ,有 

inf h(x) hla) 扫 : suphCr) ,YY CE 


其 中 3 有 4 指 4 的 边界 点 全 体 . 
26. 5.2 狄 利克 雷 问题 


犹 利克 雷 CDirichlet) 问 题 (简称 D 问题 ), 是 要 求 一 在 开 集 
ALCR',d 实 2) 中 调和 ,在 有 连续 的 函数 有 ,使 其 在 边界 34 上 等 
王 前 先 给 定 的 连续 函数 六 此 问题 居 1840 年 高 斯 提出 ,1924 年 维 
纳 提出 广义 也 问题 . 第 从 静 夫 《Kakurani) (1944 年 ) 和 杜邦 
(Doob) (1954 年 ) 发 现 它 与 BM 间 的 联系 ,用 概率 方法 对 了 问题 
研究 的 主要 结论 是 
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定理 26. 5.5 设 4 为 有 界 开 集 , 则 也 问题 有 解 的 充 要 条 件 
是 3 .4CCAY". 此 时 解 为 队 一 ,有 旦 可 表示 为 h(xw) 二 E71(B) ,x 人 


AA. 


4 无 界 时 , 解 可 有 无 穷 多 个 . 当 开 集 4 未 必 有 界 ,但 了 在 34 
不 仅 连 续 且 有 界 , 则 了 问题 有 解 为 

htr) = EF(BY)e < oo 十 ecPfe 一 op)》， v= const, 

《26. 97 

定理 26. 5.6 庞 加 莱 锥 判别 法 (Poincare cone criterion) 如 在 
在 以 xE34 为 顶点 的 锥 天 = 起 ;Ri | 0 一 azale 一 | 及 球 
Br) = (bh: ER’, 5 一 x| 志 7) ,使 K 站 B(x)C4, 则 xE 由 ,这 里 天 
为 单位 向 量 ,e 为 某 常数 ， 


26.5.3 测度 的 势 与 扫除 问题 


定义 26.5.7 测度 的 牛顿 势 (Newton potential》 


势 核 gO -zag =T| 1] [x—» | /ore. 
定理 26.$.8 (1) 如 Gx) 过 2; 则 
Gx) — TO, x) = | rwcpas 

(2) 有 限时 ,G, 唯一 决定 六 

(3) 极 大 值 原理 (maximum principle) 设 yx 有 限 , 支 集 为 4 
(4 是 一 切 使 pCU)==0 的 开 集 UU 的 和 的 补 集 ) ,是 NCA,atN) 一 
0, 可 GCG") 之 Moco 在 N' 人 站 有 4 上 成 立 , 则 supCe(z)SM 

IE 

公式 26.5.9 热 的 基本 公式 fundamental identity for 

potential) pg(ly— Xx) 一 | aa (xsda)g ly 一 在 ) + gatTsy), 


其 中 H(z) = PCB (44) E *), 即 首 中 点 分 布 ， 
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EaAtTr y= [ qatis Xs ydt, 


而 Galtsx ydy= Plha > tB, EE dy), 

例 26.5. 10 扫除 (balayage) 问 题 已 给 AE3 及 jE 二 
{有限 测度 v: GC，) 为 局 部 可 积 }. 试 求 测度 px € 信 , 其 支 集 
(support) 含 于 ,有 目 使 Gi Cr) 守 Gy Cr),x 人 Ri 在 A" 上 等 号 
成 立 . 

扫除 问题 的 解 ” 设 4 为 紧 集 , 则 该 问题 有 唯一 解 

Re) 一 Jia "tdz). 


26. 5.4 平衡 测度 
设 4 为 相对 紧 集 , 则 测度 jatdy) 和 全 s im BCzdy)/eCz) 存 
在 且 对 球面 S, ,所 .一 趣 , 有 
Ad 一 人 | 人 一 1jCdDasccdy， 


其 中 slim 指 测 度 的 强 收 艇 , 即 s jimw 一 v 指 
sup [BCA)—vCA) | -0 noo. 


AE 3 汤 邓 
定义 26- 5.11 称 上 述 测度 jp 为 4 的 平衡 测度 Cequilibrium 
measure). 而 此 测度 的 全 质量 称 为 4 的 突 麻 (capacity); 记 CCA)., 
¥ TE 有 
lim PCBCOAA) ET ha Loo) = patT YCCA)Y, (26.10) 


[EU 


故 规范 化 后 的 平衡 测度 可 理解 为 自 “c: ?出 发 ,4 的 首 中 点 的 条 件 
分 布 . 

平衡 测度 ja 的 势 CG。 称 为 平衡 势 (equilibrium Potentiat). 当 
4 相对 紧 时 ,Gu (7) 一 P,(h4 之 0),xE Ri; 对 球面 5., 其 平衡 测度 
及 容 度 | 
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As (dy) 2 0, (dy)/T| 一 1| } (26.11) 


CS,) 一 全 二 15.1， 《26. 12) 
性 质 26. 5. 12” 容 度 的 性 质 
C1》 单调 性 :如 ACT, 则 COBDSCUDD, 
(C29 CCA 十 7X) 一 CCA), 这 里 4 十 Y 一 (ce 十 Zi 和 人) 
(3) CA) 二 a OCCA) 常数 ec>0. 
(4) 如 有 A 为 相对 紧 开 集 , 则 

CCA) 二 sup{C(K) :1K C A,KK 为 紧 集 }. 
(5) 如 A 为 紧 集 ; 则 CC4) 一 inf{CCO): 开 集 0 二 4, 且 O 为 
紧 集 }. 


26. 6 一 维 二 维 布朗 运动 的 位 势 


对 一 维和 二 维 BM ,G(x) 一 oo(26. 5.7), 故 需 另 找 势 核 ,借助 
拉 善 拉 斯 变换 发现 4 一 2 时 势 核 &(x,y) 一 去 log1y 一 +1,d 一 1 时 


k(x;y)= 二 |y 一 X11!. 由 此 分 别 建立 对 数位 势 (logarithmic 
potential) 与 线性 位 势 (linear potential) , 仿 牛 顿 位 势 作 平行 讨论 ， 
略 述 如 下 (相应 记号 不 变 )， 


26.6.1 平面 的 对 数位 势 ， 


对 数 势 的 基本 公式 ” 设 4 非 极 集 ,x 关 y ,hy 一 XX) 一 (X,Y)， 
则 ky 一 工 ) 一 | Gradeoeey ~ a) 一 Bafzsy) + Lalx), 
【26.132 


其 中 LatX)} 全 limtl 一 Eee] e plese)dt. 
才 让 bi 


性 质 26. 6.1 Lalz) 的 性 质 
+ 582. 


(1) 如 A 为 相对 紧 且 非 极 集 , 则 
lim Batryy) = Lalx), lim gar yy) = Laly). 
Iyl ea x 


(C2) 如 五 ,Pa<eotd 例 如 4 相对 紧 时 即 可 ) 则 L(x}) 寺 0. 
《3) 如 4 为 相对 紧 , 则 存在 有 限 极限 lim [ZaCz? — ktr)] 
入 RCA). 叉车 测度 jaldy) 和 | Ha(zxrdy)U,(dr) 的 势 (定义 


26. 6.2) 为 六 ， 则 了 zy) 一 RC(A) 一 天 wz) 这 里 3- 为 圆周 . 
(4) 设 4 为 有 界 非 极 集 , 则 


Lalz) 一 lim FilogtP ha > rE Re 
圆 的 情形 ” 设 B= {68; ER,15| 二 7r} ,5, 为 圆周 ， 
(1) La, C2) = logt lr| /rl Cz); 
{2) RB)=n ‘og (l/r); 


(3) Ehs,—3 (7 ||) ,EB 
定义 26.6.2 有 界 测度 vv 如 有 紧 支 集 C, 令 Krtx) 二 
- | (y 一 x)v(dy) , 称 天 ,为 “的 势 . 


如 4 相对 紧 且 非 极 集 , 则 称 (26.6.17 中 种 为 人 的 平衡 测 
度 , 玉 , 为 平衡 势 , RC(A) 为 Robin 常数 , 且 可 证 (dy) 一 


3 lim Hatrsdy). 


26. 6.2 直线 上 的 线性 位 势 
线性 位 势 的 基本 公式 
(rsy) 一 | Harda ka,y) — galrsy) + Lalz). 


(26. 14) 
galtx:y) 计 算 公式 | EU 
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(1) rELasd | 时 ,gar sy) =0, 如 yta,b); 
BA 一 [人 一 fy 一 四 十 (一 四 全 一切] 7 6 一 4 一 | 一 二 | 如 
YE {tasb), 

(2) 二 +oo>zr>bo 人 人 supa:aE 4A) 
Bax yy 2 yy 0 如 yy 六. 
一 epo<qr<en 全 inffeie 伺 4) 时 ， 

SA 一 26 一 工 一 3 一 |y 一 了 | 如 Yao 一 0, 如 y 写 co， 
其 他 结果 

12 如 4 有 界 非 空 , 则 pa 一 (6 十 Bo)72， 

民 (4) 一 (ev 一 如 7》72， 
(2) Lalr) =limGu/2) 有 PCB 人， TIER. 
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27 独立 增 量 过 程 与 更 新 过 程 
27. 1 定义 和 一 般 性 质 


本 童 考虑 定义 在 某 概率 空间 (0, 了 ,PY 上 ,以 T= [0, 十 0) 
为 参数 集 ,R! 为 状态 空间 的 随机 过 程 . 其 结果 可 推广 到 R* 和 他 为 
左 闭 有 穷 或 无 穷 区 间 的 情形 . 
定义 27.1.1 若 对 任意 ma 大 挟 开 到 各 二 全 < 扫 扣 随机 蛮 基 
成 于， 一 六 大 一 天 一 大 是 相互 独立 的 , 则 随机 过 程 
二 {Xiher 称 为 独立 增 量 过 程 (processes with independent 
inerement ). 
独立 增 量 过 程 可 视 为 独立 随机 变 煞 和 序列 在 连续 时 间 人 情形 的 
推广 . 此 类 过 程 的 有 限 维 分 布 由 XX, 的 分 布 及 所 有 增 量 X, 一 站 ,(s 
和 15st 人 本 ) 分 布 决定 .下 设 Xi 二 0. 
定义 27. 1.2 车 对 所 有 stET,sStyX, 一 六 ,的 分 布 尺 , 仅 与 
:一 s 有 关 , 则 称 独 立 增 量 过 程 1,) er 为 齐 次 的 (hormogenecous )， 
独立 墙 量 过 程 是 马尔 可 去 过 程 , 其 转移 图 数 由 天。 表 出 , 对 齐 
次 独立 增 基 过 程 , 有 下 面 的 结 巢 . 
定理 27. 1.3 设 {XX},er 有 齐 次 独立 增 基 ,部 么 作为 马尔 可 夫 
过 程 其 转移 函数 P(x 站 ) 满 趾 : 
Pltsrot xT + ro) = PO rT zor EE RI, (27.1) 
其 中 TE 镶 ,十 zo 全 了 十 {xo}} 上 反之 转移 函数 满足 (27.1) 式 的 马 
和 尔 可 去 过 程 为 独立 增 量 过 程 . 
由 此 可 知 齐 次 独立 增 量 过 程 是 费 勤 过 程 . 
注 独立 增 量 过 程 也 有 以 X 一 枣 。, 蕊 一 各, 一 与， 相 
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互 独立 来 定义 的 ,此 时 零 初 值 ( 即 疡 (X, 一 0 一 1 的 独立 增 量 过 程 
才 是 马尔 可 夫 过 程 . 一 般 地 ,如 令 训 一 XX 一 XX,, 则 过 程 证 ,ery 可 保 
证 为 零 初 值 的 ,从 而 仿 建 上 述 结论 . 

定义 27. 1.4 随机 连续 的 独立 增 量 计 程 称 为 刻 维 过 程 (Lévy 
process). 

设 {1 jez 为 列 维 过 程 . 则 增 基 XX, 一 人 X, 的 分 布 Fi 是 无 穷 可 分 
的 ， 因此 它 的 特征 函数 络 具 有 形式 : 
1og 多 (全 = i0 (mt7) — ms)) 

十 Es 1 一 了 | 1 ta, CG ,x) — G(s,z)]. 

其 中 为 连续 函数 ,GCt,z) 美 于 1 连续 ,关于 为 有 界 单调 , 且 
Gl 一 G(s， "Cs<t) 也 是 单调 的 . 在 齐 次 情形 zr (1) 一 m2(s) 和 
GG ) 一 G(s，* ) 都 线性 地 依赖 于 1 一 s. 

通常 可 用 特征 函数 刻画 苞 机 连续 性 . 

定理 27. 1.5 独立 增 量 过 程 在 to 处 随机 连续 的 充 要 条 件 是 
Fu 的 特征 岗 数 ph 在 to 处 连续 . 


27.2 基本 独立 增 量 过 程 


27. 2. 1 泊 松 过 程 


定义 27.2.1 设 {(w,),sr 是 非 负 整数 值 过 程 , 若 存在 [0, 士 cc) 
上 的 非 减 实 范 数 和 AE " DY 下 二 0,14.* ;满足 


PN— N,=k)= 十 LAG) — AC5) Yexp {ACs) — AC2)). 


(C27. 2) 
则 称 为 泊 松 过 程 (Poisson process). 车 40) 二 椒 ; 则 称 {Ni)ier 为 齐 
次 泊 松 过 程 . 
下 面 结果 说 明 泊 松 过 程 是 一 类 具有 特殊 跳跃 轨道 的 独立 增 量 
* 586 * 


定理 27.2.2 齐 次 列 维 过 程 为 可 分 泊 松 过 程 的 充 要 条 件 是 、 
它 的 轨道 以 概率 1 为 非 减 .路 度 为 1 的 阶梯 函数 . 
因此 , 跳 财 点 和 跃 度 是 泊 松 过 程 的 两 个 主要 特征 . 
定理 27. 2.3 设 1Ni},er 为 齐 次 泊 松 过程 ,参数 为 
(CY Om 人 en 0 
PN — N=—m|N, N, = 1) 


i 


2 一 | | .| 
is | [ee 


ne 

2) 记 第 坟 个 跳 获 点 为 Pa Te fn 让 则 1 为 独立 同 分 
布 序列 , 旦 

Ptr 六 人 站 二 ee *n 字 1,t 守 必 . 

(3) 提供 了 一 个 构造 泊 松 过 程 的 方法 ; 取 一 列 独立 同 指数 分 

布 (参数 为 办 的 随机 变数 列 {5,) , 令 
N= intfin ol 二 > tE€ET, 

则 {Nuer 为 具有 参数 4 的 齐 坎 泊 松 过 程 . 


27. 2. 2 由 列 纵 过 程 得 到 泊 松 过 程 


定理 27.2.4 可 分 列 维 过 程 没 有 第 二 类 不 连续 点 , 现 设 
{Xjier 为 可 分 列 维 过 程 ,那么 对 任意 >0, 以 江天 示 R!'/[ 一 e，e] 
上 的 本 雷 尔 集 类 全 体 , 显 然 它 是 -个 og 所 数 ( 特 称 博 雷 尔 代 数 ); 则 
对 每 -- AE 避 .,1 汪 0, 过 程 在 (0,1) 内 具有 暑 度 叉 , 一 下 -A 的 跳 
熙 点 数 v(t,4) 以 慨 率 1 是 有 限 的 ,于 是 得 到 一 族 随机 过 程 {y(t， 
A}hersAEE,, 

下 一 定理 主要 给 出 由 列 维 过 程 得 到 一 个 泊 松 过 程 . 

定理 27.2.5 (1) EQG A Cm YET, AC SB.,Y>0. 

(2) 车 A,E 如 i 二 11 中 ny 月 A414A;= 二 玫 ,i 关 j, 则 个 过 程 
AD jersi 二 1,2,-…… nn 是 相互 独立 的 . 
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《3 Y 4S txt4)her 是 泊 松 过 程 ,相应 的 参数 函数 410) 
有 (04)) 二 1G,A), 它 是 连续 增 的 ,县 lim Hrdzr) 


| 了 


< of 匡 T a 
27. 2. 3 维 纳 过 程 


定义 27.2.6 一 个 增 量 X, 一 X. 具有 正 态 分 布 N tm(z) 
一 加 (52,v(4) 一 v5)) 的 独立 增 量 过 程 称 为 维 纳 (Wiener) 过 程 
Wm) 7)) 这 里 产 。，) 和 5。)? 为 了 上 的 实 函 数 ,后 者 是 
增加 的 .车 mC，) 和 vw 。， ?具有 形式 :人 一 mate 人 区 一 三 为 常 
数 , 则 称 相应 过 程 为 齐 次 维 纳 过 程 . 

关于 齐 次 维 纳 过 程 ( 也 叫 布朗 运动 ?可 参阅 第 26 章 . 


27.3 独立 增 量 过 程 的 分 解 


27. 3. 1 列 维 分 解 


设 {Xer 为 独立 增 基 过程, 则 对 任意 实 注 数 f(t), {XX 一 
(Dher 也 是 独立 增 景 的 , 列 维 证 明了 ,适当 选择 了 可 使 基 一 f(y) 
具有 某 种 连续 性 . 

定义 27. 3.1 若 计 程 了 一 /1)=& 具有 以 下 性 质 ， 

(1 Y 0 在 一/ 有 左右 极限 后 ,6 ; 

(2) 人 一 名 和 所 一 后 之 一 为 常数 时 二 者 皆 为 0; 

《3) 除 至 多 可 列 个 上 ET 外 ,以 概率 1 有 后 一 名 一 入 . 则 实 函 
数 f() ,ET 称 为 蕊 的 中 心 化 函数 . 此 时 称 二 为 中 心 化 过 程 
(centralized process )， 

定理 27.3.2 每 一 个 独立 增 量 过 程 { 叫 jer 可 以 甫 为 如 下 
形式 : 


,= f(D) 二 alt) + POY, 
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称 为 列 维 分 解 , 其 中 f(t) 为 中 心 化 削 数 .a.8 为 中 心 化 独立 增 景 过 
程 ,除了 至 多 可 列 个 固定 上 值 外 “是 连续 的 .而 如 没有 第 二 类 不 连 
续 点 , 且 


Etarctga(1)) = Elarctgd(t)) ~ Ot EY. 
27. 3. 2 佛 蔷 分 解 


若 {X) er 是 可 分 列 维 过 程 ,iotfa4)jhecr*aE. 光 ,是 由 它 得 到 
的 泊 松 过 程 族 , 记 
pA = yA — Ht,A), 
则 下 可 由 维 岗 过 程 和 泊 松 过 程 表示 . 
定理 27. 3.3 仇 丙 (lto) 分 解 ” 对 每 个 可 分 列 维 过 程 天 ,存在 
一 个 维 纳 过 程 4 { 和 jer, 它 独立 于 fr(tid) her A E 【学 ,使 


下, 二 名 十 | vfsdxr) 二 | Tr dir). 《27. 3) 


[Ei [EE 


上 式 称 为 X 的 伊 障 分 解 
由 芒 的 会 划分 解 ,可 得 出 它 的 特征 一 数 多 的 另 一 种 等 价 
形式 : 
gO) = exp |im lt) 一 $v) 十 | (et 一 1) 开 人 tdz) 
| 了 | 全 1 


十 (ew 一 ] rH, dr}. 
总 二 :1 


其 中 因 ( 和 愉 *) 是 的 均值 和 方差 函数 ,它们 是 连续 前 ,> 是 
单 增 的 . 

由 C27.3) 式 可 推 知 , 若 的 轨道 是 阶梯 函数 , 则 特征 函数 多 
具有 下 述 形式 : 


logg (8) 一 | er — DHG,dz) 


若 臣 的 轨道 是 增加 的 ,; 则 mtz} 蚌 增加 的 ， 
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又 logw 0) = im(t)8 十 | er Teesdz) 
， 


| ze dz) < ce 


27.4 样本 函数 性 质 


设 { 为 任 … 齐 次 列 维 过 程 , 那 么 特征 函数 名 的 对 数 logg 对 
s ,i 的 依赖 是 关于 :1 一: 的 线性 函数 ,确切 地 : 
logp.4.t0) = logh 0) = t(D), 
此 处 
RCO) = jz 一 FF 十 | (ew — 1YH(dr) 


Tri 


十 | (ee — 1 GH(dx), 
: 工 | 芝 1 


m 和 和 v 为 常数 . 通称 (8) 为 下 的 累积 量 {cumulant). 

先 考 虑 和 的 样本 函数 的 局 部 性 质 , 由 于 区 ,+ 一 六 , 与 X; 同 分 
布 , 所 以 只 需 考 型 过 程 在 0 点 的 行为 . 

定理 27.4.1 (1) 如 果 针 的 变 差 有 界 , 而 


(的 一 img + 全 《em 一 DH(dz). 


PAUimX/t =m) =1. 
(2) 若 天 的 变 差 无 界 , 则 以 概率 1 有 
[Xt = 十 0,limX,/t =— oo. 
考虑 单调 过 程 的 局 部 性 质 . 
定理 27.4.2 设 成 为 齐 次 独立 增 量 过 程 , 上 且 
KD) 一 | ee — Hdz). 
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其 次 设 etz) 是 定义 在 [0.sce)? 上 上 的 画 数 ,满足 条 件 :g(00)7=0, 连 续 
单 增 , 目 gCz 十 轨 S 裤 Or) 十 BC 那么 
CD [endr) < ,NN Pdimg X=0)=1. 


(2) 若 | gH dz) 一 十 oo, 则 Pdimg(XDA 一 十 oo 一] 

下 面 定理 比较 细致 地 刻画 了 任意 讨 程 的 局 部 增长 ， 

定理 27. 4.3 设 {Xijier 是 齐 次 独立 增 基 过 程 ,pC1) 是 [0,1j] 
上 一 连续 的 非 负 递增 范 数 ,满足 下 列 条 件 : 

《12 lim sup [ga i) 91) —1|=0. 

(2) 对 Y >0, 存 在 a 这 0, 使 PX 一 e900) 入 1 一 a 


那么 《1 如 果 | apPcx > ro)d < co, 骨 
Pllimx/g SD=1. 


C2》 如果 [uP (X, > q(t))dt 一 oo, 则 
PmX, /pt) 宇 1)=1 
对 一 类 特殊 过 程 , 可 以 求 出 gk). 熟知 ,区 为 标准 维 纳 过 程 (zz 
一 0,v 一 1) ,成 立 重 对 数 定 理 26, 2. 5, 车厂 为 指数 waE [1,2) 的 稳定 
过 程 , 日 只 有 负 跳 路 negatively jump), 即 其 累积 量 为 
_ 
玉 ( 的 一 一 ct 一 iT 


wa) |. 
其 中 为 常数 ,而 


tg Ta, rl, 
2 
wn) 一 
二 nl18|， a=1. 
TT 


那么 对 应 的 增长 函数 P 亦 可 求 出 ， 
定理 27. 4.4 如 果 乓 一 人 Xer 是 只 有 非 负 路 竖 的 稳定 过 程 ， 
指数 aE [1,2), 则 
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(im 和 /9C2) 一 1 = 1. 


其 中 
fa 一 Dw)t| lnln | 1 < a< 2, 
P(t) = 
2 工 ， 女 一 1 
不 1 
让 一 CAeos 了 


定理 27, 4.5 若 对 齐 次 独立 增 量 过 程 卫 存在 均值 EX,{ 可 为 
无 宅 ) , 则 
P| lim FX, = EX,| =—1. 
注意 此 结果 是 强大 数 律 在 连续 参数 情形 的 推广 . 若 EX 二 0， 
下 面 结果 说 明 X 的 振动 仍 具 有 无 穷 振幅 . 
定理 27.4.6 设 瑟 具有 齐 次 独立 增 量 ,EX, 一 0, 那 么 
PlsupR, 一 十 op) = PlinfX,=— co)=1 


27. 5 某 些 泛 函 的 分 布 


设 {Xij,er 蚌 齐 次 独立 增 量 过 程 , 它 的 累积 量 为 


. po? Br . 
K{) ~ iad — 六 十 fei — Br — 1}YH(dr) 
0 过话 | 和 | 
十 | (et — lHdxr} 
[Ea 
1， 上 :下 确 界 的 分 布 


令 
Wt = SUP XK, 9 A,X) 一 a Per < Te “dr 
Oil 9 
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人 一 inf X,, gq- (sx) = 4 Pom < ze-adt 
bv 


Ort 


定理 27. 5.1 分 布 qi (4,z) 和 gg- (4,z) 的 特征 涵 数 分 别 为 ，; 


|era,qr 《MA 一 exp|| 二 eer 一 DdF.Cryde | 


[ae- 《4, 工 》 一 exp| | 二 | 《e” 一 DaF.Crydt), 
其 中 C(x) 二 P(X). 

推论 27. 5.2 dc 04 和 az 连续 的 充分 必要 条 件 和 分 
别 是 
| Te ap(X, > Odt =+ 00 
和 

[| 了 eeP(K < Od =+ o0. 

若 义 为 阶梯 过 程 , 则 q+ Ch 和 9 (C4,x) 对 一 切 x 关 0 连续 . 

2. 首 中 时 及 首 中 点 分 布 

对 工人 亡 RR', 设 + 为 {X,} 首 中 区 间 (x, 十 品 ) 的 时 启 , 记 
7 二 六 一 工 ， 


T 


定理 27. 5. 3 随机 变量 r 和 YY, 的 联合 拉 普 拉 斯 变换 为 
Fe 一 io 一 1] 一 gt 《Ah 一 各 | | | 一 
A 0nd 
十 和 qd yd,g (ADJ (CAs EY), 
它们 的 联合 分 布 为 
Prlr,t ry) 一 [TF Mir— s+ yO— wRtds,du) 
其 中 M(x) = [ aay), 
R.(A,B) = Je: (Bt — s)dsQ— CA,s), 
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而 QB,s)—P EB), 
Q (4 一 已 (人 EA) 
3. 上 、 下 确 界 与 过 程 值 的 联合 分 布 
注 27.5.4 符号 
Qabya, =P Fa lah), 
其 中 a 二 0<p aa pe.b. 
DP'i(rdtidy)=P(lrEdi ,Edy} x 0, 
fan Crsdtsdy)—=Pm Ed Edy),r<0, 
其 中 民 是 首 达 ( 一 吕 ,z) 的 时 间 ,7 一 X。, ,一 


Qsrabirpd) = | Qsabse, pd. 

Pi Ce) = {eT rsde, Lz.m0)), 

六 -Cry 一 | (六 dt (一 co ,位 ])， 
站 


RCAY = | ep € Aydz. 


定理 27.5.5 对 ) 闻 0,e<0<pasa< ss 有 
{Aa bya PB) 一 RCCa, By) 
Tt(ILRie bPB— by — Trla— Ra — apo— a)j 


Pita7[ 有 Ra 一 Ga 有一 Ga 一 1 人 一 GORata 一 b,B — Bb 
1— Gx (a {lary ’ 


其 中 
Gr Cas {a}) 


= 上 = iarop- (6 — adi sd)T- Ca —b — yds, {2a}), 
ou vn 

Git C8,{6}) 
=|) | er (a— bsdirdy)T (6 a — y,{0}). 
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27.6 广义 泊 松 过 程 和 复合 泊 松 过 程 


本 节 但 绍 商 种 应 用 很 广 的 独立 增 量 过 程 ,并 给 出 -- 些 例子 
27.6.1 广 光 泊 松 过 程 


定义 27.6.1 若 齐 次 独立 增 量 过 程 六 = Tojer 取 非 负 整数 
值 且 是 增加 的 , 则 称 它 为 广 六 泊 松 过 程 (generalized Poisson 
process), 

广义 泊 松 过 程 的 特征 函数 具有 简单 的 形式 . 

定理 27.6.2 设 iNihey 为 广义 泊 松 过 程 ,假定 Ne 一 DY 六 
0;:0 达 PON,>0) 过 1 且 存 在 数列 {04.);;s1 ,使 

| limP Ns — New RINm— N11) = Pp 
则 N, 的 特征 函数 ， 

RO = ee DD, 《27. 4) 


其 中 为 菜 常数 ,而 wb) 二 DD pre* 


例 27. 6.3 广义 泊 松 过 程 的 一 个 典型 例子 是 一 列 消 松 过 程 
的 线性 组 合 ， 
设 {at jierk 一 1 2,… 为 一 列 独立 的 齐 次 泊 检 过程, 的 


参数 (平均 速率 ) 为 ,4 二 12 假定 y= > 2 < on， 


令 十 2 十 十 
则 fw, jer 是 一 广义 泊 松 过 程 ,其 特征 函数 80) 由 (27.4) 给 出 ,而 
一 人 


很 多 实际 问题 都 可 用 广义 泊 松 过 程 作为 模型 . 
27. 6.2 复合 泊 松 过 程 


另类 应 用 得 很 多 的 独立 增 量 过 程 是 由 一 列 独 立 随 机 变数 和 
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一 个 泊 松 过 程 复合 而 成 的 过 程 . 
定 兴 27. 8 44 若 随 机 过 程 { 芝 ,} ,er 可 表 为 


™ 
X= Dy 1tET, (27.5) 
下 一 了 


其 中 1 为 一 列 独 立 同 分 布 的 随机 变量 ， 人 her 是 与 {y， :1 狸 
立 的 齐 次 泊 松 过 程 . 则 称 它 是 复合 泊 松 过 程 (compound Poisson 
proccess). 

定理 27. 6.5 一 个 复合 泊 松 过 程 {X,),er 具 有 齐 次 独立 增 量 ， 
且 对 任意 t 宇 0,X, 具有 特征 末 数 ， 


RO) 一 eco ， (27.6) 


其 中 gl 外 是 % 的 特征 函数 ,v 为 其 个 常数 ， 
例 27.6.6 对 保险 公司 的 总 要 求 ” 设 某 人 寿 保险 公司 的 保 

险 单 持 有 者 在 时 刻 Tl ,To 死亡 ;其 中 吉之 ,他们 的 死亡 是 
强度 为 v 的 泊 松 型 事件 . 在 时 刻 5 死亡 者 的 保险 金额 为 y,, 这 些 
钱 在 他 死亡 时 由 保险 公司 付 给 , 保险 公司 为 了 确定 应 当 保 持 多 少 
储备 以 便 支付 对 它 提 出 的 赔偿 有 要求, 自然 很 想 知道 从 0 到 :这 段 
时 间 内 将 要 支付 的 总 金额 X,. 显然 了, 可 以 表示 成 (27. 5) 的 形式 ， 
其 中 N, 为 (0, 让 内 死亡 人 数 ,因此 {XX,} 为 一 复合 泊 松 过 程 ,利用 
(27, 6) 可 以 求 出 筷 有 关 特 征 量 , 比 如 ， 

EX,= vbEy, 

TV 一 uwEy, 


等 等 ,于 是 通过 对 Ey, 的 估计 , 求 得 保险 公司 的 平均 鳍 备 金额 . 
泊 松 过 程 的 其 它 应 用 见 (22. 5)、 第 32.33 章 及 [70J] 的 第 13、 
16 章 ， 
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27.7 更 新 过 程 与 更 新 函数 


27.7.1 更 新 过 程 定义 与 例 
定 尽 27.7.1 设 X,X,… 为 独立 非 负 同 分 布 随机 变 直 上 且 
(C0) 一 P(X 一 00 之 1 , 令 5, 二 荐 十 人 Es 二 十 并 ,yy 记 和 NG 二 sup {n; 
Set 则 称 Nj 全 1N (Gi),t 宇 0) 为 更 新 过 程 (renewal process )， 
也 有 称 {5,,n 一 1,2,"…} 为 更 新 过 程 的 .它们 之 间 有 下 述 关 系 ; 
(区 59 二 二 (27.72 
下 面 来 看 一 下 更 新 过 程 的 实例 :考虑 灯泡 的 连续 更 换 : 一 个 灯 
泡 在 时 刻 0 时 开始 使 用 ,在 时 刻 部 时 坏 了 ,马上 挽 上 一 个 新 灯 
泡 ; 第 二 个 灯泡 在 时 刻 X, 十 下 ; 坏 了 ,再 换 上 第 三 个 灯泡 ;以 此 类 


推 ,第 坟 个 灯泡 在 5. 二 Dx 时 烧 坏 ,立刻 换 上 第 a 十 1 个 灯泡 , 则 
N (2) 为 直到 时 刻 : 需要 替换 的 灯泡 个 数 , 它 是 一 个 计数 过 程 


Ccounting process), 
例 27.7.2 泊 松 过 程 设 {N( ,1 宇 0) 为 具有 参数 4 的 齐 深 
泊 松 过 程 ， 


PN,— N,=&)= 


A 
2 4 D0 k= 01 


由 《27， 7) 政 站 一 2 X,, 订 推 得 ; {KX, ,nn 二 1,2,…} 有 相同 分 布 : 


F(r) 一 1 一 er 之 0; 泊 松 过 程 IN (1) rz0) 是 一 特别 的 更 新 
过 程 . 
例 27.7.3 设 与, 名 ,为 实 值 独立 同 分 布 随机 变量 序列 , 假 
设 巨 {全 ) 宇 0, 考虑 :加 一 0 和 % 一 各 十 色 十 十 名 ,88 全 1. 令 5. 一 inf {n: 
0} ,5 =inf (ns0 0 ) ,=51 ,= 一 Si 二 2,3,… 则 
莹 |; 荆 ,… 为 正 的 独立 同 分 布 整 值 随机 变量 ,而 49。 一 天 ,十 于 十 …… 
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士 误 。 阅 1 按 27.7. 1 式 定义 的 过 程 1N (1) ,t 半 0} 为 更 新 过 程 . 
27.7.2 更 新 过 程 分 布 与 更 新 函数 


由 (27.7) 知 ,PCNG) =n) 二 PON OA) — PONG) Sn 二 1) 
=P(S.1) — PS Et) 
因 随 机 变量 X;,i 闫 1 为 独立 的 , 且 有 同 分 布展 , 记 吧 为 严 的 次 
卷 积 , 则 NG) 的 分 布 为 
PN =n) = Flt) — Fiilt), (27. 8) 
性 质 27. 7.4 更 新 过 程 的 渐 近 性 质 
limNG) 一 00,a,e, 但 


i 


lmN/e = ,p= EX,. 


定义 27.7.5 m() 人 ELN (1)] 称 为 过 程 Nr 的 更 新 函数 
(renewal function)., 若 NG 具有 泊 检 分布 ,PCON (1) 二 有) 二 


是 
De ,p>0. 则 和 (9 二 五 [GD 一天， 


27. 8 ”基本 更 新 定理 与 更 新 过 程 


定理 27.8.1 基本 更 新 定理 (elementary renewal theorem ) 
设 Nr 为 更 新 过 程 ,EX 二 … 一 EX, 二 jy; 则 
limmteyt 一 1/4 (理解 lyco = 09), 
定义 27. 8.2 设 下 (1) 为 一 正 随机 变量 的 分 布 函 数 ,att) 为 已 
知 函 数 , 关 于 A 的 方程 : 


4(G 一 au 十 | ac rdF(r), 320 
称 为 更 新 方程 (renewal equation ). 


当 a(f) 为 更 新 过 程 中 XX, 的 分 布 函数 居 人 时 ,更 新 画 数 (2) 
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是 更 新 方程 的 解 . 对 于 一 般 的 a8), 更 新 方程 的 解 可 由 更 新 函数 
表 出 5 见 节 27. 9)， 

定理 27.8.3 设 a0) 为 一 有 界 函 数 , 则 存在 惟一 的 在 任 一 有 
穷 区 则 工 有 界 的 通 数 A4() ,满足 更 新 方程 , 且 其 解 是 


A 二 alti) 十 | ac — rdm(z), (27, 9) 
其 中 mm 人 (9 一 人 FeG) 为 更 新 函数 ,PC 为 F(z) 的 上 重 卷 积 . 


27.9 主要 更 新 定理 及 其 应 用 


27.9.1 主要 更 新 定理 


首先 ,给 出 算术 函数 和 直接 歼 曼 可 积 定义 . 

定义 27.9.1 设 分布 隙 数 下 , 若 对 每 个 >0:Fla 二 6) 一 F(a 
一 ey) >0, 则 称 玉 在 点 a 为 递增 的 . 

若 存 在 正 数 14 使 正在 0, 士 1, 士 24,… 为 递增 点 . 分 布 冰 数 下 
称 为 算术 的 (arithmatic), 最 大 的 4 称 为 天 的 跨度 (span), 显然 ,车 
FF 为 连续 函数 , 则 屎 为 非 算术 的 .而 有 值 0,1,2,… 的 离散 随机 变 
量 的 分 布 函数 为 具有 跨度 1 的 算术 廊 数 . 

定义 2327,9.2 设 g 为 [0,s2) 上 画 数 ,对 每 个 5>0,n 一 1,2， 


人 


ma = minfgtt): (rn — DoE ni, 
m= max{g() :tn — DEEtEnd), 


008) 一 65 ma 08) 一 6 Dn,, 


若 对 每 个 9>0,a(8) 和 508) 绝 对 收效 ,日 15(087 一 5(6)] 一 0,6-0， 
则 称 g 为 直接 著 时 可 积 (Cdirectly Riemann integrable). 当 六 为 直 
接 黎 在 可 积 的 单调 函数 , 则 称 它 是 绝对 可 积 (Cabsolutely 
integrable)., 
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显然 ,所 有 满足 | 1s(z) 1dz < oo 的 单调 函数 的 有 限 组 合 为 直 


接 歼 曼 可 积 的 . 

定理 237.9.3 主要 更 新 定理 (basic renewal theorem) 设 下 
为 具有 均值 x 的 正 随机 变量 的 分 布 函数 , 设 (2) 为 一 已 知 的 直接 
的 歼 曼 可 积 函 数 而 4() 为 更 新 方程 (定义 27. 8, 2) 的 解 : 

《1) 若 天 为 非 算术 的 , 则 


lim4(t) 一 一 | 沙 a)dr， 各 AS 
口 ， 车 = cc. 


C2) 若 下 为 算术 的 ,十 具有 跨度 4, 则 对 所 有 c 半 0， 
[et 车 < co， 
D0, 车 :二 oO, 


主要 更 新 定理 有 和 下面 等 价 形 式 , 它 用 更 新 男 数 来 刻画 更 为 直接 . 
定理 27.9.4 关键 更 新 定理 (key renewal theorem) 设 下 


为 具有 均值 & 的 正 随机 变量 的 分 布 洋 数 , 设 (7) 一 Dr ff 为 
更 新 逆 数 ,其 中 FF; 为 下 的 有 次 卷 积 , 设 >0 为 固定 的 . 
C1) 苦 玉 为 非 算 术 的 , 则 lim[mte+h) 一 mkt)] 一 皮 
(2) 车 下 为 算术 的 ,为 跨度 4 Tn 
mr 人 和] 一 全 vc 时， 理解 为 和 
上 述 两 定理 证 明 见 [71] 
27.9. 2 主要 更 新 定理 的 应 用 


首先 介绍 几 个 慨 食 
7 一 So 一 上 称 为 在 时 间 + 的 剩余 海 命 (excess life / residual 
life). 
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limAte 十 A) 一 


A =t— Swu, , 称 为 年 龄 (ages ;或 现在 寿命 (current life}). 
I 一 Y(t) 十 4(2), 称 为 全 寿命 otal life). 现 利用 主要 更 新 定理 


求 剩 余 寿 命 了 人 的 极限 分 布 ; 
记 妥 .0 二 PIY() 守 z}, 对 每 个 国定 < 守 0: 由 YY 了 (1) 的 定义 ,有 
人 茶 工 妆 上 十 
PYO) > zx|X), 一 了 ) 一 40， 敬 t 十 zx 宇 x 这 1 
| 苦 上 之 工科 1 


则 由 全 概率 公式 : 
4 一 | ro > IX = dF lr), 
=1— Pd 十 za) 十 | aa zdF (x), 
为 得 极限 分 布 ,假设 p= 二 ECXW) = | (1 一 RC)ydz < oo, 风 
ja — F(t + 2)}dt = [a — Fy}dy < o0, 


故 当 2 辕 定 时 ,{1 一 FG 十 xz)} 作 为 1 的 单调 隔 数 ,为 直接 黎 曼 可 
积 的 . 
由 (27. 9. 3) ,剩余 寿命 了 的 极限 分 布 为 


limP(Y, > 2) = limA.0) 一 二 | 4 — Fy}dyr > 0.. 
Fe fe 三 


4 与 了 人) 的 示意 姐 图 27. 1. 
9 


图 27.1 


由 上 图 ,有 
{YE 于 
“ 60D1。 


从 而 得 极限 联合 分 布 : 
limP(CY CD) 全 TA y) = limPlYt ~ y) 守 x 十 


一 工作 
-二 | 0 一 ceoidz 
特别 地 , 令 zx 一 0, 得 年 龄 A() 的 极限 分 布 : 
. ] fr 3 
lim (AC) 之) :| {1 — Flz) dz. 


最 后 , 考 丰 了 C2) 一 了 (0) 十 4() 的 极限 分 布 定 义 : 有 (二 PIT() > 
zf 区 


1， 着 > maxgfrei， 
Pll > x | 史上 R(t Y), 若 》< 委 用 
0， 其 它 . 


由 全 概率 公式 有 : 
kD) =1— Flmaxtr,)) + [htt 一 ydFCy) 
由 (27. 9. 3)， 
limPUG) > 2) = limk Go 一 二 | 5 -~ 天 Cmax(ryr))]dr 
故 , 全 寿命 7) 的 极限 分 布 为 
1 


limP C(I) 六 一 Taree), 工 字 员 
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28 分支 过 程 
28. 1 一 维 离散 分 支 过 程 


i 记 N=i0,] ,wt} N={1 2 

定义 28.1.1 设 iPijvew 为 N 上 的 一 概率 分 布 , {Pi')en 表 
示 它 的 i 重 卷 积 . 如 琳 它 的 转移 函数 (i, 门 满足 : 

Pl = Pl(Zn = j|2, = 7) 
I 之 117 社 0， 
ei 0 0. 

称 以 N 为 状态 空间 的 马尔 可 夫 链 1Z。 issv 为 一 维 离散 分 支 过 程 
(one dimensional discrete time branching process), 

分 支 过 程 描述 了 下 述 模 型 ;考虑 一 个 群体 (或 系统 ), 开 始 针 有 
Zo 个 个 体 ,在 -个 单位 时 间 后 ,每 个 个 体 按 袜 率 律 {P;} 币 此 独立 
夺 群 体 数目 , 称 它 们 为 第 一 代 , 然 后 经 -单位 时 间 后 ,每 个 第 一 代 
个 体 又 独立 地 以 {Pi} 产 生 第 二 代 个 杠 , 如 此 下 去 ,一 般 以 Z, 表示 
第 代 群 体 数 目 , 则 {2Z,} 就 是 - -个 分 支 过 程 , 这 里 考虑 群体 由 一 种 
类 型 个 体 构造 . 分支 过 程 广泛 应 用 于 人 口 增长 .细菌 繁殖 . 链 氏 反 
应 及 计算 机 网 络 等 , 离散 一 维 分 支 过 程 亦 称 为 高 尔 顿 -瓦特 森 
(Galton-Watson) 过 程 ,下 面 将 简称 为 (;W 过 程 . 

作为 一 个 志 尔 叮 夫 链 ,G 到 过 程 的 状态 空间 具有 较 简单 的 结 
梅 :CO 为 吸引 态 , 而 N- 中 状态 都 是 非常 返 ( 暂 留 ) 的 . 考虑 其 实际 
背景 ,对 分 支 过 程 主要 集中 在 两 个 问题 上 :群体 消亡 的 概率 及 世代 
数 ( 或 时 间 充 分 大 后 的 变化 趋向 )， 
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28. 1. 1 母 函 数 及 其 方程 
由 于 GW 过 程 ( 后 面 将 看 到 对 一 般 分 支 过 程 亦 如 此 ?转移 概 
率 的 特殊 结构 ,使 用 转移 概率 的 母 画 数 PG ,Ps 过 17 代 
殖 转 称 概 率 本 身 是 更 方便 的 ， 而 转移 概率 由 1 忆 } 诀 定 , 国 此 只 需 研 
究 后 者 的 母 函 数 . 定义 GW 过 程 1Z.}ewv 的 母 函 数 为 : 
fs) 一 Dp sl < . (28. 1) 
: 二 各 
GW 过 程 的 各 济 ( 步 ) 转 移 概 率 的 母 防 数 可 由 /(s) 如 下 表 出 ( 设 Zn 
一 1)， 
记 扩 G) 一 SP, ,sin 1s| 1， 


j= 


则 DP Ds = [f(s ,rn 1 
i—0 


其 中 PQ, 让 是 nn 阶 ( 步 ) 转 移 概 率 ,注意 让 (s) 王 f(s) ,约定 f(s) 
一 5, 则 有 以 下 母 函 数 方程 (generating function equation): 
FFs = fls), nd E N,Ns| 科 1， (28. 2) 

分 支 过 程 的 太 部 分 结果 都 是 用 母 沙 数 投 述 ,; 上 述 的 半 群 关系 
《28. 2) 是 很 重要 的 . 

前 述 Z. 一 1 的 假定 并 不 失 一 般 性 , 若 开始 有 = 个 个 体 , 则 第 = 
代数 目的 母 函 数 ( 即 转移 概率 已 .G， 门 的 母 轿 数 ) 为 [ 捷 G) 了 ,因此 
以 于 不 特别 说 明 时 ,总 设 Ze 一 1 此 外 为 避免 平凡 情况 还 设 Po 十 六 
1,P El EN. 


28. 1.2 矩 和 分 类 


假设 第 一 代 群 体 数 2, 的 均值 m 和 方差 of 存 在 ( 即 有 限 ), 那 
人 么 m= ff (1) ,此 时 第 大 代数 目 Zn 的 均值 E7, 一 rx", 方差 
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Gm" Co 1) 
vaIZ — | m1 六 区 1， 


ng:, mm 一 |]， 
六 利于 不 但 决定 第 4 代 的 均值 .方差 ,而 且 直 接 影响 2 在 n 一 :x 
时 的 趋向 ,下 面 的 分 类 将 是 这 种 影响 的 这 分 . 
定义 28. 1. 2 如果 相应 的 均值 mx 分 别 为 :这 1, 一 1, 志 1, 则 称 
GW 过 程 为 超 临 界 (supercritical) ,临界 (critical) 或 次 虱 界 


Csuberitical )， 
28. 1. 3 ” 灾 绝 概率 


记 9= 户 (Z, 一 0, 对 某 个 aeN) 它 是 群体 最 终 消 失 ( 灭 绝 
《extinction) 的 概率 ,下 面 定 理 给 出 9 的 解 ， 
定理 28.1.3 设 坟 ,jew 为 GW 过 程 ,mm 一 EZ1,9 如 上 记号 . 
出 当 又 雪 1] 时 ,gq 二 1 兴 吉 六]1 时 ,gq 之 1; 它 是 方程 Fi 一 上 的 最 小 
非 负 杠 ， 
注意 ;由 于 jE x+ 都 是 非常 返 的 ,因此 由 (28,. 1.3) 有 
PUimZ, = 0) =1 — PlimZ, 一 十 oo) 一 


limP(2, = 7) =0, jE N+ 


28. 1, 4 极限 性 质 


考虑 GW 过 程 {12,),e% 的 极限 情形 ， 
定理 28.1.4 车 区 <oo, 则 {WW 一 Zim")e wn 是 一 非 久 靳 ,以 
WwW 表 {Wi} ev， 当 2 一 ”cc 时 的 壮 .S， 极限 , 当 m >1 时 下 列 陈 述 等 价 ， 


(1) YS KPlogK < oo， 
{2) PIW > 0) > 0, 
{3) ElW— W,.|—0 CH oe, 


(4) {Wb}wew 均匀 可 积 ， 
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(52 下 sbRY < cc， 
下 面 是 更 精细 的 结果 . 
1. 次 临界 情形 
定理 28. 1.5 车 0<m 之 1: 则 
5) — Ft0) 
1 — f(t0) 
其 中 g 是 下 列 方 程 的 唯一 的 概率 母 函数 (probability generating 
function}) 解 ，: 
1 一 gr ) = ml — gt gt0) = D, 
由 此 得 出 {12,} 的 条 件 极 限 分 布 ; 
定理 28. 1.6 设 0<m<<1; 则 存在 概率 分 布 {Qi}rew 使 
PlF, = j|2, > 0) -~* Qn > 00). 


”gl nr oo0|s| 大 |， 


2. 临界 情形 
定理 28. 1.7 车 区 =1;0 之 0, 则 
> 1 1 1 a 
Him 1 ft 1 一 =- EW 
对 0 这 1 之 1 均匀 地 成 立 . 
用 过 程 {2.}wew 来 描述 ,有 


定理 28.1.8 若 w=1,0 之 oo, 则 
limP(Z,/n > z|2Z, > 0) = exp(— 2z/0°) ,x 0. 

3. 超 临 界 情形 

定理 28.1.9 若 1<m 达 吕 , 则 存在 常数 列 {C,}nen 满 足 
C/O zm ;使 W, 二 C712, a.s, 收 全 于 具有 以 下 性 质 的 随机 变量 
W:; 

1) PW>0=1—y. 

(2) glz) 一 Ele ) 满 足 


Fz) 一 /9 半 | | 
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(3) 荐 g 一 0,W 具有 在 0,sce)? 上 绝对 连续 的 分 布 . 


28. 2 ”一 维 连续 马尔 可 夫 分 支 过 程 


在 (28. 1) 研 究 的 模型 中 ,其 他 假设 不 变 , 考 虚 每 个 个 体 不 再 是 
在 单位 时 间 内 产生 后 代 , 而 是 随机 生存 ~- 段 时 间 ,该 个 体 消失 同 
时 产生 后 代 , 个 体 间 寿命 是 独立 的 且 产 生 的 后 代数 亦 独立 于 其 寿 
命 ,以 Z, 家 示 时 劾 + 群体 的 数目 , 则 得 到 连续 时 间 分 支 过 程 
1210: 仍 设 上 只 有 一 种 类 型 个 体 , 故 此 过 程 是 一 维 的 . 
假定 = 服从 参数 为 “的 指数 分 布 , 个 体 产 生 的 后 代数 分 布 仍 
为 {Pr}ien: 那 么 可 以 证 明 , {2Z.)es 是 一 个 离散 参数 的 齐 次 马尔 可 
夫 坟 程 ,其 密度 矩阵 一 《gies 为 ; 
(0, jl1， 
di i, 一 
iaP; sr ji lit 
以 PP (6 袁 示 相应 的 最 小 @@ 过 程 , 则 ， 


证 Pis 一 [PPTs E Ns|s| El (28.3) 

称 之 为 分 支 条 件 . 一 般 给 出 下 述 
定义 28.2.1 概率 空间 (如 ,和 ,PP) 上 的 马尔 可 夫 过 程 
{Zi)w0; 和 如 果 其 状态 空间 为 NN, 它 的 转移 概率 函数 Pi 《2) 满 足 
《28. 3), 则 称 为 一 锥 连续 时 间 马 尔 可 夫人 分支 过 程 Cone dimentional 


continuous time Markov branching process), 


28. 2. 1 母 函数 


设 12 js 为 一 维 连 续 马 尔 可 去 分 支 过 程 , {Pijwewn 是 个 体 的 后 
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f= Dp,lsl <1, 
Ws) 一 2s) 一 $]， 
Fsst) 一 PPuc)s, js| < 
本 节 仍 假设 Z。 二 1, 且 不 考虑 平 凡 情 况 . 
此 时 成 立 下 面 的 母 函 数 方程 ; 
Feissa tt) = FCOFCs tu). 
定理 28. 2.2 车 对 充分 小 的 se>0， 


| ds 
上 一 上 ulsy) 
则 对 Y #0, 下 , 让 三 1; 否则 F012 之 1 ,YY 72>0. 


28. 2. 2 ” 买 绝 概率 和 算 


令 9 一 PIZ 一 0t>co) 表 示 灭 绝 概率 , 则 有 
定理 28. 2.3 g 是 方程 ws)==0 在 [0,11 内 的 最 小 根 . 2, 的 前 
二 阶 秆 为 
EZ, =e",A= wu'(l). 
Ha lle 一 ex a 0， 
[CT 让 a = 人 0. 


28.2.3 多 人 GW 过 程 


设 {2Z js 为 一 维 连续 时 间 马 尔 可 去 分 支 过 程 , 母 函数 为 下 (3， 
2 站, 那么 有 
定理 28, 2.4 YY 5>>0, 序 列 {Z') ,ew 二 {Zwa)sew 是 一 个 GW 过 
程 , 它 的 母国 数 f(s) 一 F(s, 人 0). 
于 是 对 {2,} 的 许多 性 质 可 以 转化 为 GW 过 程 {2Z,) 的 描述 ,后 
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了 


EZ: 一 


者 是 一 个 嵌入 过 程 (由 连续 时 间 过 程 得 到 的 离散 过 程 , 叫 原 过 程 的 
途 入 ). 


28. 2. 4 极限 性 质 


{1Z 的 极限 性 质 可 以 由 嵌入 G 克 过 程 得 到 ,这 里 叙述 一 些 于 
后 ,注意 到 4==atm 一 1), 因 此 过 程 的 分 类 可 以 用 4 改 述 . 
超 临 界 情 形 

定义 过 程 (Wi) so 二 和 Ze*}iso; 则 它 半 于 自然 6 代数 族 ( 即 由 
殉 产生 的 oa 代数 族 ) 是 非 负 鞍 , 以 W 表示 :一 oo 时 的 a. s. 极限 . 
(此 结论 对 一 切 A 值 亦 对 ), 则 有 : 

定理 28.2.5 若 4>0, 那 么 POW=0) 一 1 或 EW 一 1, 后 者 
成 立会 > KPilogK < cc- 

些 外 当前 者 成 立时 有 ， 

(C1) PK =0)=g. 

(2) 存在 (0, se) 上 的 连续 密度 函数 W(x), 使 Y¥ 
Or Too, 


Pkz EW Ex) = [ werar. 
临界 情形 
定理 28.2.6 车 4 二 0,0 一 ea ReP 一 1 < 之 吕 , 则 
rp 
. a 
limP {2, > F1712, > 中 = e-- 
次 临界 情形 
定理 28.2.7 车 <0, 则 
limP{Z = j|2, > 0)= b,j EN, 
存在 , 且 &) 守 0, 315 一 1. 
一 个 
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28. 3 依 龄 分 支 过 程 


在 (28,2) 的 这 程 中 ,如 果 个 体 的 寿命 分 布 为 一 般 分 布 肾 数 
WD), 那么 相应 的 过 程 {2,)so 一般 不 是 马尔 可 夫 过 程 ,但 它 仍 具有 
一 些 类 似 于 蕊 尔 可 夫 分 支 过 程 的 性 质 . 由 于 Co 与 年 龄 有 关 , 此 
过 程 称 为 依 龄 分 支 过 程 ， 

28. 3. 1 母 纯 数 基 本 方程 

对 ?1 宇 0, 记 Plt) 二 PP(Z, 一 上 ,kkEN, 考 虑 母 消 数 Flsit) 一 
Sp, ts, Is| 所 1. 

定 闵 28. 3.1 和 母 函 数 基 本 方程 设 {Pi} 和 fts) 同 (28.2), 则 

Filsst) = s[1— Gs) [fe — ydGCty),|s| 所 1. 

定理 28.3.2 设 是 一 概率 母 函数 ,G 为 [0, 十 co) 上 的 分 布 
函数 有 G001 ) 人 limG (4) =0, 则 (28. 3. 1) 有 一 个 解 G,t), 它 对 固 
定 的 1 是 一 母 函 数 , 且 为 唯一 的 有 界 解 . 


28. 3.2 灭绝 概率 和 和 矩 


Fit 如 定义 28. 3.1, 其 余 记号 沿用 (28.2), 我 们 有 (2。= 
1): 

定理 28.3.3 (17 着 0Ss&g; 则 limFG,t) 一 9; 若 9 入 :之 
1 , 则 + limF (Gs)=g, 这 里 人 C4) 表单 增 ( 减 ) 极 限 . 

(2) PZ, 关 0,Y 1 宇 0) >0cSm 交 1, 若 后 一 条件 成 立 , 则 概率 也 
(CZ, 一 0, 对 某 汪 们 是 方程 f(s)==s 的 唯一 小 于 1 的 非 负 根 ， 

关于 依 瞧 分 支 过 程 和 和 链 (branching process tchian) 
dependent on ages), 有 
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定理 28. 3.4 (7 开 Z, 一 六 是 下 询 方 程 的 唯 - 解 ， 
Pt 一 [1 一 G 人 ti)] 十 m| pt — ydGCy), 


它 在 有 限 区 间 上 是 有 界 的 . 
(2) EZ 2, 一 jz (tist3) 是 下 列 方程 的 瞧 一 解 ( 有 限 区 间 上 有 
界 ): 


Hak 2) 一 rt iz) 十 mm pa 一 一 ydG(Yy), 
其 中 
rf) =1 — GC) + ms| pda ~ yt ~ ydGCy) 


十 m| pe — ydGey). 
二 


而 ms =ECZ (2 一 工 ) 


28.4 和 多维 离散 分 支 过 程 


考虑 群体 有 sm 种 不 同类 型 的 个 体 ,分 别 以 1,2,*… ,zw 表示 其 
型 号 ,每 隔 一 单位 时 间 , 型 号 为 i 的 个 体 以 概率 PC7 ,jm) 分 
发 成 为 六 个 第 1 型 个 体 ,… ,js 个 第 mx 型 个 体 ,此 分 裂 对 不 同型 号 
或 同型 号 不 同 个 体 之 间 都 是 独立 的 ,以 2, 表 时 刻 = 或 第 = 代 ) 群 
体 所 含 的 第 i 型 个 体 总 数 ,2 一 1246，… 2 ); 则 {Zs}rew 是 一 个 
维 随机 序列 . 多 维 分 支 过 程 很 好 地 描述 了 这 种 演化 ， 


28. 4, 1 若干 定 义 
设 s= 一 (ss 和 [0， 11",j= 《7 jy EN’,0D= {0,.…, 
0) ,1 一 (1,… ;1),; 为 nt 维 向 量 ; 对 i 二 l,m PO SP Ci 


启 ) 是 N” 上 的 概率 分 布 ,其 母 函数 为 (C8) 一 /Cs 5m) 一 
"611 ， 


> PO fr) sl > POs’, 
Pe 


jEN" 
记 PID= CPOEOY se POD Fs) 
一 CCPFTCSyF 
由 087 一 > PO)s’, (28. 4) 


JE 

定义 28.4.1 状态 空间 为 w" 的 马尔 可 夫 链 , 若 其 转移 其 数 
户 让 =P(F1 一 j12Z, 一 让 jEN” 为 LA 了 中 时 的 系数 ,这 
里 fs) 具有 (C28.4) 的 形式 , {2,}sen 称 为 mx 维 离散 分 支 过 程 
tm-dirmentional discrete time branching process) ,也 称 为 GW 过 

了 is) 和 将 起 一 维 时 f(s) 的 作用 . 

注意 ,车 存在 一 元 素 非 负 的 产 维 矩阵 好 使 As 一 Ms , 则 此 
时 的 分 支 过 程 变 为 普通 马尔 可 夫 链 , 称 此 过 程 是 奇异 的 
(singulatr ) ， F 面 假设 考虑 的 分 支 过 程 是 非 硼 异 的 ， 


28. 4.2 抵 


记 e= C60 j= mm) il mm EC(Z| Zo =e), 
着 二 mi)ijew, 假 定 胜 中 的 苑 都 是 有 限 的 ,它们 可 由 f(s) 求 导 得 
到 ,一 般 的 Z, 的 逢 可 由 肚 表 示 :E(2.120) 一 Zo 

定义 28.4.2 m 维 GW 过 程 亿 ,}ew 如 果 相应 的 均值 矩阵 册 
是 严格 下 的 ; 即 存在 xn 实 1, 使 M" 的 元 素 严 格 正 ; 称 它 是 正规 则 的 
Cpositive regular). 

由 惩 阵 论 知 对 严格 正 矩阵 ,存在 - -个 最 大 的 正 特征 根 , 它 为 一 
单 根 . 


28. 4.3 ”灭绝 概率 和 非常 返 性 


设 1Z.jsx 是 闫 维 GW 过 程 ,f(s) 为 它 的 母 汕 数 .状态 0 是 吸 
612° 


引 态 ,对 其 余 的 状态 有 
定理 28.4.3 苦 {2Z,hew 是 正规 则 和 非 奇 异 的 ,那么 对 jE 
N”/10), 有 
pLZ, 一 /5 无穷 多 个 2 二 站 
姥 所 有 非 震 状态 都 是 暂 留 的 . 
考虑 灭绝 概率 , 记 
gi 一 Pp(F, 二 0, 对 某 n EE N|Z26 二 02)， 
qq = (qr) 
定理 28. 4.4 设 {2,},en 丰 正 规则 和 非 奇 异 的 ,Pp 为 M 的 最 
大 特征 根 . 则 有 
《1) 车 ss1. 则 一生 若 1 则 41， 
《2) 4 是 方程 组 Ps) 一 在 [0,1J” 内 的 唯一 解 . 


28.5 ”多维 连续 时 间 分 支 过 程 


在 (28.4? 所 考虑 的 群体 中 , 若 每 个 个 体 生 存 一 随机 时 间 后 消 
失 , 同 时 产生 的 后 代 个 数 也 是 随机 的 ,那么 描述 此 现象 的 模型 是 一 
个 时 间 连 续 的 随机 过 程 . 和 一 维 情形 相 类 似 , 个 体 的 寿命 分 布 是 否 
为 指数 型 {参数 与 个 体 的 类 型 有 关 ) ,决定 过 程 的 马 氏 性 , 这 里 考虑 
马尔 可 天 分 支 过 程 
定义 28. 5.1 定义 在 概率 空间 (人,. ,Py 上 取 值 于 N” 的 强 

十 尔 梧 夫 过 程 1Z,) .0 ;如果 它 的 转移 函数 了 GG,j;) 满 足 分 支 条 件 
《branch condition) 

Vpn = [ED Pe se); 

JEN™ EN 
其 中 i isin) E Ns E L012 0. 
称 它 为 要 维 连 续 时 间 分 支 过 程 (m-dimensional continuous time 


branching process), 
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和 一 维 连 续 时 间 情 形 类 似 , 设 第 i; 型 入 个 个 体 的 寿命 分 布 服 
从 参数 为 a; 的 指数 分 布 ,产生 后 代 的 概率 分 布 为 {pC ， 
站 则 由 二 (Carryan) pCO 站 二 (p(yp”( 门 ) 求 出 密度 
矩 阵 刁 ;成 而 构造 出 最 小 人 过程. 也 训 由 解 母 了 数 的 向 前 和 癌 后 方 
程 求 得 分 支 转移 琐 数 和 母 函 数 ,详细 的 可 参阅 L40]. 


28. 6 一 般 马 尔 可 夫 分 支 过 程 


考虑 一 个 系统 , 它 由 若干 粒子 构成 ,每 个 粒子 独立 地 按照 某 种 
马尔 可 夫 过 程 运动 ,而 在 过 程 的 一 定 状态 下 , 它 消失 或 分 裂 的 后 代 
个 数 是 随机 的 ,这些 下 一 代 粒 子 遵 循 先 辈 的 同样 运动 ,如 此 下 去 . 
在 此 种 场合 不 但 关心 粒子 的 总 数 和 年 龄 ,而 且 需 要 考虑 粒子 在 相 
空间 的 位 置 . 这 种 考虑 导致 一 般 马尔 可 去 分 支 过 程 的 研究 . 

现 报 述 一 般 杞 尔 可 夫 分 支 过 程 定义 . 

设 ( 卫 , 宽 ) 是 一 可 浏 空间, 称 为 过 程 的 型 空间 (type space)， 
98gX 为 一 附加 点 ; 记 基 中 一 {人 ,对 之], 天 中 表示 针 的 nn 光 矫 廊 * 
的 对 称 化 , 即 芝 中 的 一 个 点 对 应 于 ZX" 中 这 样 一 个 集合 ,此 集合 中 
点 的 又 标 仅 顺序 不 同 , 天 中 点 将 用 (zi ，… ,x 表示, 其 中 x;:EX， 


令 放 一 [Xm, 以 部 表 示 攻 上 由 : 当 引 入 的 o 代数 .对 4ACX, 以 
14(， ) 表 4 的 示 性 函数 ,设立 E 六, 记 


0， r= 8, 
xz(A) = 
Dir), 工 一 《2 rT 


它 代表 位 于 4 中 的 粒子 数 ( 视 为 某 时 刻 系统 的 状态 ). 
定义 28.6.1 一 个 (及 , 铝 ) -~ 值 马尔 可 类 过 程 ,如 果 它 的 转移 
函数 P(t ,zx; 甩 ) 具 有 以 下 性 质 : 
C1) PtDXoO 一 TO0 
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《2) 对 任意 * 关 0 以 及 天 的 任 一 可 测 分 解 ; 开 一 人 十 生 十 导 十 
4 关于 所 有 非 负 整 数 Ns = | ,一 Cri sy 五香 省 0D， 
有 


Pl tr wed (TLA,] = ni = 1 ,mn}) 


二 ,和 He Cr {raA] = nj = 1 ) 
称 它 为 马尔 可 夫 分 支 过 程 (Markov branching process). 

在 上 述 定义 中 ,(1) 表 示 没 有 粒子 自 系统 外 流入 ,而 (2) 中 的 等 
式 表示 独立 分 支 性 . 

引入 六 的 一 个 直观 是 :以 Z, 表示 时 间 + 系统 的 粒子 数 ,Xi 表 
未 第 z 个 粒子 于 上 时 的 位 置 , 则 上 时 条 统 有 状态 X= (Xl,… ,XY)， 
因为 考虑 同型 粒子 是 不 可 分 辨 的 , 故 取 鲜 为 系统 的 状态 空间 . 
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29 蒜 论 
29. 1 定义 与 例 


拷 沦 创立 于 20 世纪 30 年 代 末 人 至 50 年 代 初 杜 布 (J 上 L Doob) 
和 列 维 (CP Lévy}) 的 工作 ,形成 随机 过 程 论 的 -一 个 独立 分 支 . 60 年 
代 急 迈 耶 (P A Meyer) 解 决 了 上 执 分 解 问题 ,并 发 展 了 平方 可 积 
拷 理 论 . 库 尼 堪 {H Kunita) 和 瓦 塔 奈 伯 (S Watanabe) 对 平方 可 积 
靳 的 研究 , 近 耶 和 戴 拉 谢 利 (CC Dallacherie) 创 立 的 随机 过 程 一 般 
理论 ,使 现代 著 论 有 丁 开 创 性 的 发 展 ,成 为 70 年代 以 来 随机 过 程 
论 中 最 活跃 和 最 富 成 果 的 分 去 之 一, 著 与 随机 积分 理论 被 僵 来 僵 
广泛 地 应 用 于 马尔 可 去 过 程 .点 过 程 . 佑 计 理 论 和 随机 控制 等 理论 
分 支 帮 应 用 领域 ， 

设 了 为 任意 的 有 序 昨 数 集 或 实数 集 , 分 别 对 应 于 见 散 时 间 与 
连续 时 间 . (多 er 为 .多 的 一 个 非 降 子 = 代数 族 ,Xr 会 ;ET) 
为 基本 慨 率 空 问 C2, ,P) 上 的 随机 过 程 . 

定义 29.1.1 设 ( 包 )) 适 应 这 程 Xj 满足 

《1) E|X,| oo, 

(2) EN,| FB) Na,s, st El, 

则 称 过 程 Xr 为 CF ) 菇 (martingale) ,其 中 (4 多) 为 参考 族 . 如 若 
+ 满足 

(3) EX <o0,[ EX <o0], 

(4) ECK,| FR Ra 8 tT, 

则 称 过 程 Xr 为 (学 ,) 上 持 《supermartingale)[ 下 持 
(submartingale) |. 
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今后 , 方 括号 内 陈述 者 表示 替代 前 方 概 念 或 命题 而 可 平行 建立 的 
相应 的 概念 或 命题 . 

当 了 为 实数 轴 上 区 间 村 ,以 下 恒 设 蒜 . 上 款 和 半 蒜 ,是 可 
分 的 . 

由 定义 知 天 :一 信 全 fsst ,有 时 就 取代 震 定 义 中 的 
' 宛 ,, 相 应 的 条 件 期 望 写 为 ECX, | ) 或 ECX,|X,,r 护 ?) ,离散 时 有 
EX | 或 EX | Xa y 玉 ,), 恒 设 5,tET. 

由 条 件数 学 期 望 定义 知 定 义 29. 1.1/C2) 及 29.1.1/C4) 分 别 
有 如 下 等 价 形式 

C1) | Xar = | .XaP, YAE A, 


(2) | Xar > [<]| XdP. ¥ AE 

例 29.1.2 设 上 ,na 六 1 为 独立 rv 列 ,FE 一 0( 期 望 定 多 中 合 
机 | 各 1<op). 念 殉 一 全 天 直 . 即 由 与 生成 的 代数、 
叉 令 六 ,一 六: 则 CX 会 [Xn 之 1 为 (入,) 著 ， 

事实 上 ,由 条 件 期 望 性 质 、{6.} 独 立 性 太 E&, 一 0,E(CXur XX1， 
KR) ECR, | XI XK) ES | | 
证 ES 1 一 入 ya,s， 
进一步 尚 可 证 5&, 二 0 是 充 要 条 件 ,只 要 关于 6 的 其 他 茶 件 不 变 ， 

例 239.1.3 设 舍 ) 是 Tv 询 ( 末 必 独 立 ), 瑟 [有 |<ce 且 
E00 这 里 筷 ., 多 ,。 同 
例 29.1. 2, 此 黄 也 称 杜 布 (Docb) 过 程 . 

例 29.1.4 设 rvE 有 玉 |El<co,(5) 为 参考 族 , 今 允 一 三 
(8|. 玉 ET, 则 Xr 为 4 车， 

例 29.1.5 设 (X,),s 为 下 载 , 则 (Xi )zi 也 是 ,这 里 XX: 二 

V0. 叉车 芳 守 0,EILX,| 00, 则 (1X.| ws 也 是 下 载 ,r 守 1. 


证 由 对 一 言 (Xo 十 | 下, 上) 知 为 罗 . 人 ef 可 测 , 且 为 升 巩 
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数 , 故 由 定 交 29.1.1/(4), 令 g(x) 二 x1, 有 g(X,) 伟 ag(E(Xer | 
Ki Eg(R | RE CXL | XX], 
由 oH RR)}ColKivi 人 nn} 及 有 关 性 质 知 Xi 和 ECX;.1 
17 而 (XX) ,i 是 下 款 . 后 半 结 论 可 仿 证 . 

例 29.1.6 设 京 ,2 六 1 为 独 羡 列 , E56, 二 1,n 字 1, 令 YY 二 


Te , 则 C7.) 为 C2z) 炽 ,这 里 多。 定义 同 例 29.1. 2. 事实 上 , 令 
主人 In ,刚直 例 29.1.2 及 xz=lny 为 y(>0) 的 升 函 数 , 依 逻 的 
定 六 ,可 证 (7.) 为 ( 安 。) 蒜 . 


例 29.1.7 直线 上 伯 努 科 游 动 中 的 稻 ” 设 (5) :是 独立 介 
努 利 Tv, 列 , 忆 (6 一 1) 一 六 ,已 (6 一 1) 一 9 衬 1 p, 令 9 一 


306 , 它 是 4 次 游 动 后 质点 的 位 移 . 则 X, 人 (9/p)%yn 之 1 
是 (了 ,) 靳 ,这 里 多, 一 o {1& ,7 之 n). 此 结论 利用 例 29.1.8, 注 意 
Eq/p)* 二 1 可 立 妈 证 得 .此 外 , 尚 可 知 EX,=1. 

例 29. 1.8 与 布朗 运动 的 伊 世 积 分 有 关 的 靳 设 (B.) 是 布 
朗 运 动 ,对 (B,) 伊 胶 随 机 积分 过 程 M. = | /dB.,0 < 二 了 ,在 


当 /为 初等 函数 ,或 更 一 般 地 了 为 (22,) 可 测 , 且 | ELfC5) lsdy < 
co 时 ,Ci 是 鞍 ， 

例 29.1.9 可 加 水 函 中 的 例子 ” 设 (4.) 为 本 加 泛 芒 过 程 ,是 
满足 E41| 过 oo ,五 .4 一 0:t20,Y xTER, 则 (C40) 是 CF) 拷 . 由 此 
车 (X,) 为 扩散 过 程 ,A 为 无 穷 小 算 子 ,wwE Da; 则 下 列 过 程 (Y,? 为 
靳 [70],Y 二 w(K,} — ulX,) 一 | asds, > 0. | 

注 29.1.10 和 鞭 的 实际 背景 ” 设 某 企业 第 = 年 产值 XX, 元 ， 
瓦 ( 居 1X :是 已 知 前 ”年 产值 情况 下 预计 第 * 士 1 年 的 平 
均 产 值 . 如 以 , 作 第 十 1 年 的 本 金 提 入 , 则 当 ECX, 1 |， 
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) 一 大 ,时 ,表示 无 借 亏 ,而 玉 款 则 表示 有 重 利 , 
例 29.1.3 中 护 如 表示 对 策 (game) 之 第 ”局 实现 的 增益 (可 
< 大 0), 则 ECé, 1 |é 9 ,一 站 表示 对 策 星 无 氨 的 . 如 志 为 ( 罗 。) 停 


BCstopping time) ;网 由 公式 29.7.2 知 瓦 | 3 二 0 ,这 表明 对 
停 时 的 选择 ,不 能 增加 无 损 系统 的 平均 增益 ， 


29. 2 ” 蒜 的 基本 性 质 


性 质 29. 2.1 初等 性 项 


(1) 设 XY/ 为 蒜 上 上 茹 .下 贡 ],r v.77 汪 0 有 肯 为 久 , 可 测 , 则 对 

¥ fs, 有 
EC(XT) = [IECXD). 

C2) 如 和 7 为 蒜 , 刚 所 X 一 const, 且 玖 | 不 ;如 Xz 为 下 款 ， 
则 EEX, 本， 

性 质 29. 2. 2 判别 性 质 

(1) 如 Xz 为 FE 上 对, 则 一 Xz 会 {一 XET) 为 上 [下 j 鞍 . 

C2) 如 Xr 为 下 [上 ] 堵 ,f 为 连续 不 碱 珀 ( 回 ) 函 数 ,EFCX,) 过 
cotET, 则 了 CX7D) 会 {CX0),tET} 是 下 [上 J] 蔷 ; 如 六 7 为 靳 ,为 
连续 凸 函 数 ,RACXD) 之 cc,tET, 则 A(X7r) 是 下 开 , 但 未 必 是 蒜 . 

C3) 如 Xr 是 下 蒜 , 则 {CX, 一 1,ET} 也 是 ， 

(4) 如 Xt,Yr 为 两 个 著 [C 上 款 ], 则 CX 十 Yr 是 车 [上 黑 j], 而 
(X AT)r 是 上 扫 ， 

公式 29. 2.3 儿 个 不 等 式 

1) 下 款 极 大 不 等 式 (maximum inequatity for 
subrmartingale) 设 Xr 是 下 蒜 , 则 书 (supXe >)<EsupEX: Wy 


为 任 常数 . 
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(2) 科 莫 长 罗 夫 不 等 式 ” 设 Xr 是 蒜 ,sup 五 |X1<ce 之 1， 
则 


Plsup|X,| OESsupElX, ,> 0. 
teET 存 ET 


又 若 了 有 最 大 元 纪 , 则 上 两 不 等 式 右 方 在 二 达 到 上 确 界 . 
(3) 杜 布 不 等 式 ” 设 Xz 是 下 裔 ,其 几乎 所 有 轨道 为 右 连续 ， 
则 


EsupX”) ee 二 supEXtlogT 区 ， 


e 一 1 
ElsupXr )*) SE | Ts | ‘supECX+)?, p>1. 


(4) 杜 布 上 穿 不 等 式 (uperossing inequatity)》 设 v[eay6) 为 下 

靳 XK 从 下 向 上 穿 过 区 间 [a ;1 的 次 数 , 则 
Ey[asb) SE supE(X, 一 GD) /Pb — a), 

定理 29. 2.4 任意 抽样 定理 与 杜 布 停止 定理 

《1) 离散 时 的 任意 抽样 定理 (optional sampling theorem) 
没 (X,) 是 著 [ 上 团 j,r 为 停 时 ,如 P(r<o0) 一 1, 征 (sup|Xinn|) 
二 0, [加工 v. 久 尖 0, 满 是 EW 过 oo 及 对 Y nsXins 这 一 W]， 
则 EX.—[& |EX,. 

(2) 设 (XD) 对 ofYos 了 ,) nn 字 0 为 靳 ,r 为 (Y,) 停 时 ,如 Er 
二 co2 目 了 常数 之 oo 使 ECX 一 XX | [YoY 人 kV nt; 则 

EX,— EX,. 

(3) 任意 停止 定理 (optional stopping theorem) 设 (X,) 为 
靳 ,r 为 停 时 , 且 
1) P(r<cco) 一 1， 2) ElX to, 3) limE XTon) 0, 
则 EX,= EX'. 

(4) 连续 时 的 任意 抽样 定理 设 ( 蕊 ?为 (多 ) 蒜 [下 款 ],c 为 
《外 ) 停 时 ,如 Pr<ce) 一 1 ,时 吾 (sup| 革 <ep [LE 2 
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为 一 致 可 积 ], 则 
EX,= [EX. 
(5) 柱 布 停止 定理 没 Xi- 为 (.F ,0} 著 [ 上 蔷 ] ,zt 为 (到 ) 停 
时 ,i 一 1,2, (Ci) 右 连续 
1) 如 rtssrm ,有 ECX, 1 =[]X。 :3 
2) (一 般 情 形 ) 则 E(X. | 一 [ 护 ]X nv 1a... 


29. 3 鞭 的 闭合 与 收敛 性 


定义 29.3.1 如 {XJtET,Y} 是 (ZF,) 革 [ 下 载 ] ,换言之 ;如 
ElY|<ooYE SAoPFHET}IH E(YIF)=[ Nas. yt 
亡 人 下, 称 C 安 ,) 著 [下 吏 Xi 对 CF 小 右 闭 于 Ytrightly closed by Y)， 
此 了 称 为 右 闭 元 . 

如 了 有 最 大 元 太 , 刚 忒 为 右 闭 元 . 

定义 29.3.2 如 对 每 一 ET,X 可 积 , 且 < 一 十 ce 时 
| IIaP 对 66 工 一 致 地 趋 于 零 , 称 过 程 (X.) 为 一 臻 可 积 的 ， 


性 质 29. 3.3 一 - 致 可 积 的 等 价 条 件 设 E|X,I*<o0, 则 (XX,) 
一 致 可 积 s3supE1X,|*< 十 on (bp 主 1). 当 pp 二 1 时 尚 要 求 均 色 可 


积 , 基 对 Y e>0, 了 52>0 使 当 PC4)<6,AE97 时 ， | [Xdp 
YEiET, 

定理 29.3.4 设 Xr 为 (多 ,) 革 或 下 寺 . 下 述 等 价 ， 

(1) Xr 为 (多 ) 右 闭 ， 

(2) 7 一致 可 积 ， 

(3) 在 七 收 全 意 义 下 存在 limE|X， 一 了 | 一 
如 三 者 中 有 一 成 立 , 则 limX, 一 了 存在 (a.s.), 且 Y 即 Xr 的 有 


闭 元 . 
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定理 29. 3. 5 下 款 的 右 正则 化 ” 设 区间 了 CR ,Xr 为 (多) 
下 款 , 则 {X61.9 0,t ET} 也 是 , 且 样 本 右 连续 [2]. 此 时 在 使 
EX, 连续 且 祈 ,16=. 久 ;的 每 -点 上 ,X==XeosX 410 一 [PJ 
取 修 =R, 全 [0,0).Ri 二 [0,0%J. 关于 轴 的 收 化 性 ,有 
定理 29.3.6 设 Xa, 为 (多 ,) 上 软 , 儿 乎 所 有 轨道 有 连续 , 如 
supEX7 < 之 o0( 等 价 地 supE IX 艺 00) 则 3 某 可 积 交 YX 使 各 
二 Xst>o0, 义 着 Kn_ 为 非 负 C2 上 著 , 则 Xi 也 是 
定理 29. 3.7 设 Xx, 为 一 致 可 积 蒜 [上 蒜 ], 且 几乎 所 有 轨道 


.8. 时 也 1 


右 连续 ; 则 当 :>oo 时 有 XX 一 一 一 "XX ,日 Xz 为 靳 [上 款 ] 

由 该 定理 可 推 得 如 下 定理 . 

定理 29. 3.8 设 Xa 为 靳 [ 非 负 下 蒜 ], 轨 道 右 连续 (a. s. )， 
对 某 p>1isup 下 | 和 < , 则 和 为 一 致 可 积 , 且 X, 一 一 
Kos | Bo | 一 sup | Xe ll 

定理 29. 3.9 设 (&) 为 ( 吧 os 上 蒜 , 轨 道 右 连续 (a， S。》， 


.3 1 
! 有 0 于 0 为 基 fr. Vv. , 且 对 .多 


会 门 多 ,可 测 、 可 积 .此 外 Xw, 为 (上 园 


如 supEX, 过 oo, 则 40 时 X， 
了 站 


29.4 ”上 鞭 与 下 著 的 分 解 


29. 4. 1 里 斯 分 解 
定义 29.4.1 如 Bm Er 一 0, 称 (多 ,) 非 负 上 吉 wr 为 位 势 


Cpotential) , 当 了 人 连续 时 还 要 求 X71 右 连 续 [P]- 
定义 29.4.2 设 Xr 为 上 著 , 如 存在 蔷 Mr 及 位 畦 xr, 使 六 
二 MM 十 zt.;t 亿 全 , 则 称 X 有 里 斯 分 解 (Riesz decomposition), 当 全 
连续 时 还 要 求 Xr 几乎 所 有 轨道 右 连 续 . 
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定理 29. 4.3 讼 (X) 为 (史上 贰 , 当 了 连续 时 ,几乎 一 切 轨 
道 右 连 续 且 (区 ,) 右 连续 . 则 

(1) Xr 如 有 里 斯 分 解 , 则 在 随机 等 价 意义 下 必 叭 一 ， 

C2) Xr 有 里 斯 分 解 全 limEX> 一 co， 


(3) Xr 非 钢 了 一 有 人 十 区 为 其 里 斯 分 解 ， 则 Mr 为 非 负 加. 


(4) 如 (CX) 一 致 可 积 , 必 存 在 limX,- =X, ECR | )， 


:和 员 + 为 鞠 . 作 右 连续 修正 后 ,Xx- 有 里 斯 分 解 ; 
芒 ， 一 FX | 十 (CX, 一 FR., | 好, 


29. 4.2 杜 布 分 解 


定 久 29.4.4 如 二 0, 所 wm[ 了 Pj, 一 切 s 所 1; 则 称 有 连续 
(. 实 ,) 过 程 ax 为 (次,) 嫌 增 的 (increasing). 如 对 一 切 以 概率 1 有 
界 . 非 负 且 有 左 极限 的 CF,) 革 Xa 有 
E| x, da = Ka A EimX, * lima,). 


则 称 之 为 自然 的 Cnatural)， 
“和 超然 ”的 机 念 ,出 现时 于 “可 料 ” 定义 29.6.5). 由 于 自然 增 
过 程 就 是 可 料 增 过 程 ， 自 然 ” 这 一 概念 已 为 “可 料 ” 概 念 代替 . 
定 沈 29.4.5 如 supEa:<oo, 称 ( 史 ) 增 过 程 ep， 为 一 致 可 
积 的 . 
定理 29. 4.6 一 致 可 积 增 过 程 ax 是 自然 的 , 当 且 仅 当 对 Y z 
>0 及 任意 右 连 续 且 有 左 极 昭 的 有 界 靳 X。 ,有 


E| Xda = E| 区 du。 
0 [4 
定理 29. 4.7 杜 布 - 迈 耶 (Doob-Meyer) 分 解 设 TAR, 为 C.F) 


右 连 续 拖 ,使 {x.,rE€. 1 一致 可 积 ,其 中 了 会 { 停 时 :<%0， 
as. }, 则 存在 (多 可 积 的 自然 增 过 程 ae, 使 
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玫 一 五 (as 多 ) Cm, tt 完 0,[P], (29. 1) 
其 中 a 二 limai. 上 述 分 解 在 随机 等 价 意 义 下 唯一 . 
系 29.4.8 设 天 x 为 (多 ,) 右 连续 上 著 , 目 {X,,rE 了 } 一 致 
可 积 , 则 存在 ( 实 小 右 连 续 一 致 可 积 靳 Ma 和 (多 可 积 的 自然 增 
过 程 ce ,使 了 有 随 视 等 价 意义 下 唯一 的 分 解 : 
R=M— ow, tOfPL. (29. 2} 
了 离散 时 , 增 计 程 C(a.) 称 为 自然 的 ;如 a 为 .多 ,_1 可 测 . 任何 
《分 .上 靳 ,在 随机 等 价 意义 下 有 孜 一 分 解 了 . 二 MM, 一 a; 1n 守 0, 这 
里 MM, 为 ( 罗 .) 贡 ,而 % 为 自然 增 过 程 . 此 时 可 按 如 下 递 推 方法 直 
接 写 出 这 个 分 解 : 
令 1 一 om 一 0 对 六 1， 
M, 一 M+ [X, -~ ECX,iF, 1}j, 
os = 0 1 二 Ri ECR, | R= 1,2" 


可 知己 为 自然 增 这 程 . 实 由 MM, -= .4 一 五 【有 |. 1 3 要 mn 一 


CX ECX| 交 ) , 知 一 甩 一 筷 , 且 关于 到 ， 可 测 ,此 即 
为 离散 情形 的 可 料 性 . 


29.5 平方 可 积 拷 


迈 耶 4Meyer) 发 现 ,对 平方 可 积 标 ,可 像 对 布朗 运动 定义 伊藤 
积分 那样 ,来 定义 随机 积分 ,从 而 为 建立 现代 束 论 与 随机 积分 论 打 
开 了 通道 , 因此 平方 可 积 拷 是 -~ 类 重要 的 鞭 . 

本 节 恒 设 {Q,. 字 ,PP) 完 备 , 《多 ,) 右 连续 ,一 切 蒜 轨道 右 连 续 且 
有 左 极 限 . 又 ,对 随机 等 价 的 两 过 程 将 不 作 区 别 , 文 中 常 不 再 指明 . 


29.$.1 定 兴 与 收 笋 性 


定义 29.5.1 零 初 值 (F,) 鞠 Xr, 称 为 ( 罗 ,) 平 方 可 积 回 
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《square integrable imartingale)y 旭 YL 20 有 五 号 cos 称 为 (和 
一 致 Cuniformly) 平 方 可 积 巩 ;如 supEXt<o0. 

球 方 可 积 款 全 体 记 为 - 砚 ;, 一 致 平方 可 积 著 金 体 记 为 哇 ,. 当 
又 要 求 过 程 连续 时 ,加 记 为 -At , 呈 5. 公式 29.2.3, (2) 现 在 可 写 
为 : 设 Ma 二 中 ,, 则 ¥ 42>0, 有 


POsup|M| 宇 放声 supEM? < ceo， 《29. 3) 


例 29. $. 2 一 致 平方 可 积 : 

(1) 设 [0, 了 7 时 段 内 的 独立 增 量 这 程 ( 素 ,) 为 可 积 [ 一 至 平方 
可 积 ], 旦 EX 二 cLERI 二 cj yc 为 常数 . 则 六 oj 为 喜 [ 一 至 平方 可 
积 款 ] 此 命题 由 例 29. 1. 2 及 定义 29.5.1, 令 名 二 XX 一 XX , ,i 一 
jt 可 立 旭 得 和 到. 特别 ; 零 初 值 布朗 运 
动 (B0owezr 基 (让) 平方 可 积 款 , 限 E50, 了 Tj 了 则 尚 为 :一致 的 ,这 


里 =o{B, .0st}. 


(2) 设 a€ | ed + € [0,7], 则 可 分 过 程 名 二 
JadB.,0 SteT, E 岗 ,( 对 (所), 同 (1)). 
定理 29.5.3 对 六 E. 友 ,, 令 
IX < = .0 A 1)72"， (29, 4) 


则 (1) -如 ; 在 淮 范 数 |.%, 下 成 为 弗 雷 黑 (Frechet) 空 间 ( 即 
完备 可 分 距离 线性 空间 , 且 有 不 变 距 离 ,p(X 十 外 ,及 十 半 ) 二 
pKRV KD ,KRY EMA,. 

(2) .Ai 是 - 乏 * 的 闭 子 空间 . 

定理 29. 5.4 设 M= (Mi)>。 是 右 连 续 一 至 可 积 款 , 令 M., 一 
limMa. s, 则 

(1 MEMOEME, oo 
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《2》 开 1 人 一 su0pEM12 ,如 MEM,. 

定理 29.5.5 记 好 .一 limaf as 一 im hg ,NE 
以 ,， 

C1) 别 : 在 内 积 CM,N) = 二 上 EM.N。 下 为 着 尔 怕 特 CHilbert) 空 
间 , 且 与 CR,. 多 ,-, 户 ) 同 构 . 上 映射 好 一 邓 . 为 其 同 构 映 象 

(2) 3 为 纲 , 的 闭 子 空间 ; 

《3) 在 路: 上 ,|‖ * wm, 强 于 | ， .x,. 


29. $.2 正 交 性 


定义 29.5.6 设 人 M,NE 驶 ,, 且 对 Y¥ 停 时 7,EMN. 一 0; 则 称 
贰 M,N 相互 正 交 , 记 为 MLN. 
注意 ” 宗 , 定义 中 有 和 零 初 值 的 约定 ,否则 正 交 定义 中 应 增 
MoNt=0, 
定理 29.5.7 设 对 ,NE 驶 , 则 MLNOMN 为 黄 . 
定义 29.5.8 如 (1) 对 Y 停 时 r 及 ME >=ME, 
(2) HY AE Fo ME ELMER. 
称 子 空间 族 ' 己 叉 , 为 稳定 的 (stable). 
定理 29.5.9 设 多 为 颈 ; 的 稳定 子 空 间 ,; 则 如 + 会 {ME 
WY NE 2 MJ]LN} 及 履 ? 生成 的 闭 线 性 子 空间 和 (2) 都 是 
稳定 的 ,县 代 一 | 芝 (如) ,这 里 MLN, 指 M,N 作为 希 尔 伯 特 空 
间 准 ; 中 两 个 元 ,为 正 交 , 即 内 积 CM,N) 一 EM..N..=0. 
由 此 可 证 吕 3 与 (W005)+ 人 7 都 是 稳定 的 , 且 寞 ;上 园 i, 从 而 
可 建立 ， 
定理 29. 5.10 Y ME 对 ,, 有 如 下 唯一 分 解 : 
M= M+ M’, (29, 5) 
其 中 ME NM; ,ME M4, 
分 别称 C29.5) 中 ,MF 为 M 的 连 续 著 (continuous 
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martingale) 部 分 和 纯 断 蒜 (purely discontinuous martingale ) 部 
分 . 


29. 5.3 与 站, 联系 的 增 过 程 
定理 29.$.11 设 ME 骂 ,, 则 24: 可 作 如 下 叭 一 分 解 ; 


Mi = MD, Mt 0, C29.6) 


的 可 料 增 过 程 . 

定义 29. 5.12 称 式 (29. 6) 中 (对 ?为 一 致 平方 可 积 蒜 M 的 特 
征 .又 如 NE 守则 夺 与 六 的 相互 特征 (crossing character) (MM， 
六 由 下 面 关 系 式 定 尽 

(M,N), = 广 [(M 十 Ny MY Ny). (29.7) 

例 29.5.13 例 29.5.2(1) 中 布朗 运动 (B,) 的 台 特 征 (B8), 一 
+， 而 例 29. 5. 2(2) 中 过 程 (6) 的 特征 4 一 | aias. 

定理 29, 5S. 14 设 夺 ,NE 观 ,, 则 

C1) 4,N 为 正 交 增 量 过 程 . 

£2 ELCOWM— MF =ELMD MD | OKs 

(MENGOMTN BO NS M,N} = 0. 


29.6 局 部 扣 、 革 刻画 与 执 表 现 


设 概率 空间 (如 ,多 ,PP 完备 ,( 多 ,完备 且 右 连续 . 
29.6.1 局 部 鞭 定 义 与 性 质 


定义 29. 6.1 两 增 过 程 ( 风 定义 29. 4.4) 之 差 , 称 为 有 限 变 差 
过 程 (process of finite variation), 设 4 为 增 过 程 , 且 A. 二 limA, 
" B27 =， 


为 可 积 f,v, , 则 称 4 为 可 积 增 过 程 . 可 积 的 有 限 变 差 计 程 为 可 积 
变 差 过 程 , 易 “ 过 程 ” 为 " 训 ”, 则 有 变 着 鞠 (martingale of finite 
variation) 及 可 积 变 差 坝 (martingale of integrable variation ) 等 

定 尺 29.6.2 右 连 续 适 应 过 程 M 如 关于 (多 存在 停 时 列 mr 
too a. s. ;使 每 个 A 一 A 全 {Mi 一 各 ft 写 0) 为 C 芳 ,) 一 致 可 
积 拷 (可 积 变 差 靳 ), 则 称 为 局 部 霓 (ocal martingale)[ 局 部 可 积 变 
差 巩 (local martingale of integrable variation) 1]. : 

性 质 29. 6. 3 局 部 靳 性 质 

(1) 设 于 为 局 部 球 ,r 为 停 时 , 则 az 为 局 部 款 ， 

《2) 设 MM 为 非 负 局 部 上 堵 ( 仿 (29. 6.2) 定 义 ) ,Mo 可 积 , 则 邓 
是 上 灶 . 

《3) WW 为 局 部 贰 与 3 停 时 Tt, 不 oo a.s,. ;使 Ja 为 
一 臻 可 积 靳 

(4) 设 玉 为 停 时 ,1 为 局 部 磐 ,m 一 1,2, 有 上 且 suprm 一 co a. 
s.， 则 MM 为 局 部 园 . 

《5) 并 为 局 部 款 ,r 为 停 时 , 实 值 $E 多 ., 则 (CM 一 M") 为 局 
部 拷 . 

性 质 29. 6, 4 局 部 靳 的 分 解 ” 局 部 撕 概 念 最 早 引 入 于 下 一 
分 解 . 

C1) 伊 芯 - 渡 边 (lto-Watanabe) 分 解 ” 设 半 为 非 负 右 连 续 上 
款 , 则 芳 有 唯一 分 解 苹 = 计 一 A, 其 中 谣 为 工 中 有 界 局 部 于 ,A 为 
(天 可 积 可 料 (29. 6. 5) 增 过 程 ， 

(2) 局 部 于 基本 定理 设 邓 为 局 部 蒜 , 则 对 Ye>0, 可 作 如 
下 分 解 :M 二 M6 十 U 十 VV ,其 中 局 为 零 初 值 有 界 局 部 质 , 1AU <s， 
V 为 局 部 可 积 变 差 黄 ， 

(3) 局 部 磐 分 解 定 理 ”局 部 就 M 有 唯一 分 解 上 二 加 十 MM* 十 
AM ,其 中 MM 为 连续 局 部 款 ,2M* 为 只 有 可 及 跳 的 纯 断 局 部 拷 ( 定 
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义 29. 6.7) ,MM 为 只 有 不 可 及 跳 (定义 29, 6.6) 的 纯 断 局 部 款 . 

定义 29. 6.5 当 由 关于 RX 上 人 全体 左 连 续 (F,) 适 应 过 程 
所 产生 的 o 代数 多 为 可 测 的 过 程 时 , 称 它 为 可 料 过 程 
(Predictable process). 

定义 29. 6.6 如 (a<D EB,Y too. 称 RiXn 上 非 负 函 数 
ae 为 可 料 时 (predutable time). 当 = 为 停 时 ,3 可 料 时 到 a 使 
也 加 一 Fr<cc 一 天 oo) 则 称 = 为 as, 可 大 时 (accessible 
time), 如 对 一切 可 料 时 ea, Pr=a<eo) 一 0, 则 称 = 为 不 可 及 时 . 
如 (do 的 一 切 跳 夏 时 为 a.s. 可 及 时 [不 可 及 时 ], 则 称 54.)? 只 有 
可 及 跳 过 程 4accessible jump brocess)[ 不 可 及 跳 过 程 ]. 

定义 29. 5.7 如 Mp=0, 且 3 零 初 信和 局 部 纯 断 平方 可 积 靳 UU 
及 零 初 值 有 限 变 差 局 部 蒜 了 ,使 MU 十 V. 称 局 部 靳 1M 为 纯 断 局 


部 鞍 (purely discontinue local martingale)， 
29. 6.2 布朗 运动 的 靳 刻画 与 献 表 现 


定理 29. 6.8 列 维 靳 刻画 ” 设 B 为 次 初 值 连续 适应 过 程 , 则 
如 为 (3BM 中 取 4 划 = 二 1 人 SB 为 局 部 蔷 , 且 其 特征 <B), 一 zx. 

列 维 园 刻 画 的 一 个 重要 应 用 是 

定理 29. 6.9 设 4 为 零 初 信 (F,) 连 续 局 部 挝 ,limtM), 一 
208.5. 令 二 二 inf (sy; 40, 关 让 , 则 CM 为 (FBM. 

定理 29. 6. 10 BM 的 款 表 现 (FB)BM BA(B,)o. 关于 
《多 有 可 料 表 示 性 , 即 对 任何 (多 ,局 部 蒜 N,N 二 0, 可 表 为 一 可 
料 过 程 互 对 5 多)BM 的 随机 积分 ,这 里 多 :一 af 人 4 一 
G{ 且 .ssSt st ={A:EF,P(A)=0}. 
当 为 (.27.)BM 时 ,B 必 为 (BYBM, 且 对 每 1:E€ Ri, 光 , 一 


Y= ,RY AB ot,7,Aexp{dB,— Fo }:9E€ Ri, 都 是 款 . 


友之 ,如 XX? 一 ot 都 是 蒜 的 (CF,) 过 程 Xr, 必 为 BM. 
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29. 6, 3 ” 泊 松 过 程 的 刻画 与 袁 现 


定义 29. 6.11 设 (CP,) 为 纯 断 适应 增 过 程 ,P,=5 ,其 跳 为 十 1. 
又 如 对 一 切 0 筷 :<1 之 oo, 了 PP 一 PP 与 芒 , 独 立 ,H 且 PP 一 P.~PG— 
5); 即 PCP 一 P= 让 二 一 sj 2/ 一 0;1…… 则 称 CP,) 为 消 
松 过 程 ， 

定理 29. 6. 12 ” 泊 松 过程 南 刻 画 ” 设 (P,) 为 纯 断 适应 增 过 程 ， 
,一 0, 跳 为 1, 则 CP,) 为 泊 窗 过 程 洁 CP, 一 7) 为 蒜 久 CP 一 1) 为 局 
部 蔷 . 

定理 29. 6.13 泊 松 过 程 蔷 表示 ” 设 (P,) 为 泊 松 过 程 ,Q&,== 
PP 一， tt 六 0. 则 一 切 零 初 值 ( 名 ,局 部 拷 , 可 表 为 一 可 料 这 程 对 
(QQ) 按 较 道 的 斯 蒂 尔 切 斯 积分 . 

定理 29.6.14 设 P~POADA>0;) 刚 了 和 从 PP, 一 生 及 VA 
expt 一 8P, 十 桩 (一 e-)),8E Ri, 都 是 掏 ， 


29.7 应 用 


本 节 除 继续 介绍 革 的 应 用 背景 之 外 ,还 介绍 如 何 构造 鞭 及 应 
用 识 的 几 个 结论 . 

和 例 29.7.1 随机 游 动 问题 。 考虑 例 29. 1.7 中 一 维 游 动 , 芒 ,== 
Cg/p)» 为 蒜 , 令 记 一 inf {nS 一 z+} ,zx 为 整数 ,二 P(A_, 之 向 ), 即 
(5 在 到 达 5 之 前 先 到 一 a 的 概率 , 对 蒜 X. 用 (29.2. 441)) 并 取 = 
二 有 RA 二 全 min {hash}; 它 是 停 时 ,; 则 1 = EX, 一 EX 一 ry 十 
站 (一), 这 里 r 二 9g/p. 从 而 

= Ar 一 天) 

利用 (29, 2. 4(2)) ,可 建立 在 概率 统计 中 广 为 应 用 的 沃 尔 德 
CWald) 公 式 和 沃 尔 德 基本 公式 ， 

公式 29.7.2 沃 尔 德 公 式 设 (6,) 为 Lid 列 ,El6,| 达 oo4r 
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为 停 时 , 且 Er 过 00, 则 
a De = Eé,Er. (29. 8) 
公式 29.7.3 天 尔 德 基本 公式 (Wald'’s fundamental 
identity 》 设 ( 合 ) i id 到, 且 非 退化 ; 克 二 0. Tf 二 有 ww- 崩 
eow; 即 首次 跑 出 [一 &2,5) 的 时 间 , 它 是 停 时 . 又 设 否 ( 轨 为 总 的 母 
函数 , 即 BC) 二 Ee ,24>0. 则 
E(BAY es) 一 1， (C29. 9) 


其 中 4 满足 (WD 安 1, 而 5. 一 5. 
1 

证 令 居 ,二 1, 大 ,二 咱 (A) "eS ,n 字 1, 由 (C29.1.7) 易 知 S, 对 
(为 贰 ,这 一 结论 也 可 直接 证 明 如 下 : 

BCX, I | 相 + 一 五 [ 更 (4) 机 | 1 本 

一 人 (A) "ee ) 
(这 里 用 到 exp(> $5) E af 名 2) 、 条 件 期 望 性 质 及 各, 与 名， 
1 
“外 ) 
一 名人 4) “exB| 42538] —X, 
现在 验证 对 ,定理 29. 2. 4(2) 条 件 满足 
五 (| 买 | ~— Kl bt = RECBAY esr 一 1 
~ 2 Ze 日 
故 <r 时 ,S,<b, 从 而 前 式 右 方 芝 2e8， 
又 由 邹 非 退化 ,对 c==a 十 6b,I] N 及 380, 使 PC| 人 cj) 人 故 
PrkN) EP(lSy| oO) PllSw — Snl Rc) 
-PES 一 Siv_n | Se) Ee 《1 一 合 )， 

且 PCr 世 ma yy ,从 而 Er<eo. 

对 名 , 用 定理 29. 2.4(2) ,1 二 EX 二 EEX, 二 E(B(A)- "er), 式 

- 631 - 


(29. 9) 得 证 . 
将 式 (29, 9) 对 4 形式 求 导 , 可 推 得 式 (29. 8). 
例 29. 7. 4 似 然 比 序列 kthe seduence of likelihood ratios》 
设 包 ,2 之 0 汶 .id 而 万 、 六 为 两 密度 函数 , 旦 乒 全 0. 令 X, 一 


II CFS) /fo(S Dn 这 0, 则 当 吉 的 密度 就 是 /时 ,XX%, 是 蒜 . 事 


实 上 由 天 ACE/ = | fi fody = [fvdy 
一 ]， 而 ECLRX,. | 人 ,8 ) 一 E(X, I (SE fos 12 | 二 
一 1 一双 ,, 得 证 . 

似 然 比 序列 构造 的 堵 , 在 序 贯 愉 验 各 步 双 性 能 的 评价 中 有 许 
多 用 处 ， 
取 天 为 六 0,o) 的 密度 ,六 为 NGCusz) 密 度 时 .得 蒜 六 ,一 
D6 jn 之 1 
例 29.7.5 水 库 模 型 中 的 应 用 令 3, 为 容量 5 的 水 库 在 t 时 
的 水 位 ,TO; 分 别 是 人 :十 1 时段 内 随机 流入 和 流出 的 水 量 . 这 时 
有 如 下 平衡 方程 

Zi 一 minffZ 十 了 了 一人) A). 

设 水 库 水 位 应 维持 在 水 平 a 之 上 ,以 应 付 航行 .发 电 等 需要 . 今 
5 二 有 mg: 则 希望 Er 尽量 大 . 我 们 来 给 出 Er 的 一 个 下 界 ,对 设计 
与 规划 均 有 一 定 意义 ， 

令 净 流入 5. 一世, 一 上 O,,1 ;并 设 

下 (人 (ee Snlé,,é) A 1, {20.10) 

其 中 束 ,4 为 已 知 正常 数 . 又 令 


二 (evwrotl 一 ee 一 (zz 一 GaS2 


exp 


f(z) 一 0, Za, 


fb), zh, 
832， 


这 里 二. 
先 证 蔗 ,和 全 fF 十 #4 对 i 汉 ,} 为 下 载 . 今 


gz)= A ‘et ee (a). 一 切 xzE Ri， 
它 在 z= 之 前 上 升 而 其 后 下 降 . 有 /之 & 
EE) = ECFCOF, ES 二 1) 


ECOX IS 
g(tZ, 十 二 | 十 1)， 


邻 为 rf.v. ;上 且 EU Re “之 1; 则 
Eglz + UU) =m A et A Ee THI) oe (z+ EU «0) 
宇 Jz) 一 1， 42z 世 b, 

注意 式 (29, 10) ,可 得 ECX, .| 人 守 /(2) 十 2 三 并 

下 证 Er 守 /(z). 

由 定理 29. 2. 4(4) 知 

ECf CZ) tr A nD) ECF)) = fx) 
注意 上 有 界 及 Zs&a; 令 nn 一 0， 
fz) limEC (Za) + (rT A 72)) = E(f(2Z.)) + Er = Er. 

日 彼此 独立 ,让 委 m 2p14 时 ,条 件 


(29. 10) 一 定 满足 ， 


二 No), | 
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30 随机 微分 方程 
30.1 引言 


近年 来 ,随机 微分 方程 在 系统 科学 .工程 控制 .经 济 管理 与 金 
禹 及 生态 学 等 诸多 方面 有 广泛 应 用 . 随机 微分 方程 是 研究 一 般 马 
尔 可 去 过 程 的 一 种 有 效 工 具 : 借 助 于 简单 的 随机 过 程 造 出 一 般 过 
程 的 轨道 , 它 与 扩散 过 程 有 密切 联系 . 

例 30.1.1 .考虑 一 乱 浮 在 液体 中 的 粒子 运动 , 它 主要 可 分 为 
两 部 分 : 非 随 机 ( 即 确定 性 ) 运 动 ( 由 液体 运动 和 附加 外 力 引 起 ) 和 
随机 运动 (由 粒子 间 碰 撞 与 相互 作用 引起 ). 碰撞 产生 的 独立 位 移 ， 
依 中 心 极 限定 理 知 可 近似 视 为 正 态 的 量 ,因此 后 一 随机 运动 常 可 
用 BM (布朗 运动 ) 描 述 . 这 样 在 1 到 :十 At 时 段 沿 x 轴 的 位 移 可 近 
伺 为 

Ka — Ko HTM + alt sr)AB,, (30. 1) 

这 里 X, 是 在 时 刻 : 该 粒子 的 位 置 , z 是 粒子 在 时 刻 上 和 位 置 x 好 
的 瞬时 速度 ,AB,= Bs 一 B, 是 BM 的 增 量 ,而 (4,x) >0 是 与 过 
程 交会 (X,) 的 碰撞 有 关 的 瞬时 方差 . 又 设 久 ,二 0, 二 Xx. (30, 1) 右 
方 第 一 项 反映 决定 力 引 起 的 运动 ,而 第 二 项 表达 运动 的 随机 部 分 . 

由 于 8B 会 (8) 有 连续 轨道 ,对 msoz 加 上 一 定 条 件 可 希望 下 为 
连续 的 ,从 而 蚌 一 扩散 过 程 ,其 元 穷 小 漂移 系数 与 扩散 系数 分 别 为 
(注意 定义 26.1.2 及 EE(AR,)? 一 O(A)?) 

limEAX,/At = ptt,r), 


RT 


lmECAX,) /A = lim[V (oat, mAB,.) At 
Ar 
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t+ (EAXY |/A = Ot, x). 
BM 轨道 以 概率 1 处 处 连续 , 却 处 处 不 可 微 , 故 必须 赋予 
“dB,” 一 种 新 的 意义 ;从 而 由 (30. 1) 经 极限 形式 得 到 
dX = pt or)dt 十 ot,r)dB,, (30. 2) 


或 XX, 一 XX 十 | ns Xds 十 [eG XdB.. (30. 3) 


例 30. 1.2 物理 字 中 着 名 的 郎 之 万 (Langevin) 方 程 是 又 一 
例子 ; 设 a,8 为 常数 ,有 
dX, =— eXdt + BdB,. 
其 物理 意义 及 方程 的 解 见 节 30. 5. 2， 
伊 芯 首 先 对 dB, 给 出 了 定义 ,以 (30. 3) 表 达 扩 散 过 程 的 解 , 这 
样 , 用 简单 的 BM 直接 给 出 一 个 扩散 过 程 轨道 X,, 而 不 是 只 造 出 
号 的 某 个 特征 如 转移 沙 数 ( 科 尔 莫 龙 罗 夫 构造 法 ) 或 无 穷 小 算 子 
( 费 勒 半 群 方法 ). 更 进一步 ,对 其 他 简单 过 程 或 随机 测度 定义 微分 
与 积分 , 则 在 合适 的 条 件 下 , 仿 工 可 直接 得 到 更 一 般 过 程 的 轨道， 
这 种 构造 过 程 的 办 法 ,由 一 维 推广 到 多 维 , 了 志 不 会 产生 本 质 的 
困难 . 
注 30.1.3 记号 SDLE1: 颁 黄 随 机 微分 [方程 ],SI[Ej]; 伊 苹 
随机 积分 [方程 ]. | 


30. 2 ”对 布朗 运动 的 随机 积分 


30.2.1 对 布朗 运动 的 伊 芯 积 分 


设 B= BE La } 是 可 分 (多 适应 的 布朗 运动 ,上 且 对 每 一 
t€ [a， sa BB) AB 一 BsELD]} 名 立 , 即 如 A;€ 
BEALCB)Y ,=1,n1j=1,m. 则 


PILBi = Lonsj = 11) 一 TTeeay Tees,. 
Ee jl 
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本 节目 的 是 满足 一 定 条 件 的 二 元 函数 Fe 四 定义 伊 芯 积 分 


1(f,w) = | fC,0)dB.Co) 和 A 站 am。 (30.4) 
定义 30.2.1 简单 函数 (simple funection) 满 足下 到 条 件 的 实 
值 函 数 /Gi,w) , 称 为 简单 函数 . 


(1) 了 为 二 元 客 [s wi, 可 测 ; 

C2) 固定 E4 一 [ae 的 ,为 史 , 可 测 ; 

(3) 了 分 割 :a= 一 ao<ae< <a 一 bai 不 依赖 于 上 ,使 
Fm) 一 fa a CEA i= 1 


且 foa,) € LAA tg* | lg) PPcdm) oo0). 


注 30.2.2 记号 


S: 简 单 函数 全 体 . 
at: 满足 定义 30. 2.1(1) 及 30. 2.1(2) 的 芍 数 全 体 . 


M， 1/Gow) lsd < onsa.s. 的 Mo 中 的 函数 全 体 . 


5, [El fa,%) 1zdz 之 co 的 M, 中 的 函数 全 体 . 


定 艾 30.23 对 BM 的 仇 本 积分 (lIto integral for a 
Brownian motion) 设 fEM;: 如 下 定 儿 (30,4) 中 之 (ff,w); 
(1) 如 ES, 令 


Tf sm) = Pfam LB Cw) ~ B,Cw)]. 


Ly 
(2) 如 ES 六 ICGS 且 六 一 六 今 
Ta 一 iim TCFPo)ya,s,P， 


(3) 如 EM, 令 
Ar 一 fa) Te sal | Goodsj， 
Tf so) = liml (frr). 
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可 证 $ 在 于 中 竹 ( 依 严 (4XO) 中 范 数 1 7 一 | ElfG， 
四) |2dz), 且 定义 30.2.3(2) 中 工 六 wo 惟一 .对立 cs 
fulidt 20, 有 Tp) 全 [Cra， 
30. 2. 2 伊 其 积分 的 性 质 


设 fgEM, 令 | faB, 一 TCF ,A 本 区。 ,这 里 Ta 为 六 
之 示 性 函数 . 

性 质 30. 2. 4 基本 性 质 

MIG = | FaB | Fap a<e<b 


《2) 线性 J(af 二 Bgyw) 二 al(f ,wT Pig :ew), 
(C3) Tm) = BB — Be atl ta. 
(4) 如 7,gE3;, 则 EICf,w) =0. EC wi(g,w)} = 


| g/gdt ， 
由 

特别 地 ， ECf sw))? = [Eydr. 

(5) PUT | >)EP Cup lf i>0), 

PlsuplT lwe sw) |>0 SPsuplfl>0). 
定理 30.2.5 上 矩 估计 (estimnations of moments) 设 fEM， 
『 /2 
且 对 某 靖 > 0,B[ | 14 ”< oo , 则 存在 常数 a 和 B,, 使 
pi2 
E|| fdB| > mE(| fl) ， 如 p>1 


BE (| filidt)”， 如 p> 0. 
产 一 2 时 ， 两 式 均 取 等 号 , 且 a 一 各 一 1， 
定理 30.2.6 设 / E M4 二 [0,6], 避 会 | AdB, , 且 取 过 程 
* 人 37。 


(5 为 可 分 的 , 则 (8 的 桩 本 函数 以 概率 1 连续 , 且 对 任意 正 数 “ 
和 六 ,有 


Plsup|| /38.| > 0) <P(| fids > N) + NA 30,5) 
定理 30.2.7 设 /E3,4[0.6], 则 过 程 6 全 | fidB.,t€ 4 
是 连续 的 一 致 平方 可 积 挝 ,其 特征 为 (5), 一 | fds .这 时 


i 
Posupltl > 0 < BE Pas， 


| 5 
Elsup 上 19 < ‘E| fads. C30. 6) 
和 站 


30. 2.3 对 布朗 运动 的 $ 积分 


许多 生物 .物理 模型 作 扩散 近似 时 ,其 极限 过 程 归结 为 对 布朗 
运动 的 斯 特 拉 托 诺 维 奇 (Stratonovich) 积 分 (简称 S$ 积分 或 忆 积 
分 ) 意 义 下 的 SIE , 解 得 的 扩散 过 程 , 比 伊 芯 积分 意义 下 的 更 自然 : 
对 输入 过 程 6X,) 的 样本 轨道 的 直接 积分 ,其 复合 过 程 的 S 随机 微 
分 ,有 通常 的 全 微分 公式 (30. 13). 只 是 这 种 S 积分 存在 的 条 件 较 
.1 积分 更 为 苛刻 , 它 也 不 能 像 后 者 生成 拷 ， 

定义 30.2.8 对 BM 的 SS 积分 (S integral for a Brownian 
motion》 设 FAGa) 为 [ae 的 X 吕 上 二 元 函数 ,如 对 [ay, 约 的 任 一 分 
割 1a):a 一 ao<a< <a 一 训 , 只 要 nmax |a;—a-11— 
0 时 ,下 述 均 方 极限 

im DD) F010) + Flaw EB Cw) 一 已 (oO 


{30. 7) 
存在 , 且 有 同一 极限 (对 固定 wED), 则 称 了 对 BM(B,) 的 S 积 分 
存在 ,其 $ 积分 值 定义 为 上 述 极 限 值 ,并 记 为 
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SCf sw) = CS)| dandB(w A CS)| faB. (30. 8) 
特别 , 当 AE5 且 {ai} 为 定义 30, 2. 1 中 分 割 , 则 
Ss0) = DY Faw) + Flaw) LB 0) 一 已 ,C1. 


r=| 


(30. 9) 
性 质 30, 2.9 伊 节 积分 与 3S 积 分 的 几 个 差别 
(1) 依 定 义 可 算得 BM 对 BM 的 随机 积分 
| aas 一 二 (5 下 部 凶 a), 
” 《30. 10) 


CS)| 2dB = 3 — B?). 


可 见 对 伊 艺 积 分 ,~- 般 的 分 部 积分 公式 不 成 立 . 伊 静 积分 | Ba 
也 可 由 公式 30. 3.3 取 gl1,z) 圭 x! 得 到 . 
C2) SDE 和 解 间 的 美 系 ” 仿 定义 30. 3.1 可 定义 S 意义 下 的 随 
机 微分 . 设防 , 是 S 意义 下 SDE， 
dX, = att, Rd + pu, KdB, C30. 117 
的 解 , 则 它 也 是 伊 芯 意义 下 的 SDE. 
dX, = | cx) 十 Fb KOBE K) lle + bt, XVdB, 
(30. 12) 


的 解 . 这 里 bX ) = [#7) | . 当 6(t,z) 与 工 无 关 时 ,两 


本 一 


种 随机 微分 意义 下 的 SDE 的 解 一 致 . 

《3) 复合 函数 过 程 有 通常 的 全 微分 公式 (在 S 微分 意义 下 )， 
即 车 ,是 (30.11) 的 解 (5 微分 意义 ), 则 了 二 了 (rf, 六 ,) 是 5 微分 意 
六 下 ， 

dY, = f(t, KOdt + ft, X,YdX, 《30. 13) 
的 解 , 只 要 f 满足 适当 条 件 使 上 述 解 存 在 , (30. 12) 有 通常 的 全 微 
*。 639 。 


分 形式 . 而 在 伊 芯 随 机 微分 意义 下 的 (30. 10) 一 般 无 此 性 质 . 
C4) 伊 蓄意 义 下 的 不 定 随机 积分 | /.4B, 常 确定 一 类 重要 的 


持 . 如 /fe AoE 0,E| fd 二 oo, 则 可 分 过 程 MM 


= | Fa, 在 0 过 :二 了 ,为 一 致 平方 可 积 黄 .而 (S)| f.dB. 一 般 却 


不 是 款 ， 
(5) 在 实际 问题 求解 中 的 差异 , 见 节 30.5 及 [70]. 


30. 3 伊 芯 微分 方程 与 积分 方程 


30. 3.1 随机 微分 的 定义 与 性 质 


设 B 是 (OBM,X.p 及 os € Mo | wild < lotd 
< Co, 
定 光 30.3.1 随机 微分 (stochastic differential) ,如 果 对 es 所 5 
ES ;有 


KK, 一 XK, 一 | mar 十 | eaa,[P]， 


且 XX, 为 1 的 连续 荡 数 LP], 称 随机 这 程 基 有 随机 微分 (SDYdX,, 且 
dX,= dt+odB,.. 
性 质 30. 3. 2 ”基本 性 质 
(1) 随机 微分 运算 是 线性 的 . 
(2) 如 总: 有 随机 微分 dX,()= Gdi 十 gtdB() ,i 二 1 ;2. 
则 积 芯 \(2) 玉 (tf) 有 随机 微分 , 且 
dX IKAE) = KR OI URGE + KdKL ED + oC) 0 td, 
(3) 如 天 有 SD 定义 30. 3.1),9(t,x) 为 AXR' 上 连续 函数 ， 
且 Yr: 及, 连续, 则 复合 过 程 glz,X,) 有 SD, 且 有 
公式 30. 3.3 人 屠 基 变换 公式 (Ite transformation formulae》 
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dp XR) = [Ht KX) 十 Pet KO + SP Xd 
十 BE KadB,, 

更 为 一 般 的 伊 忒 变换 公式 是 : 设 

dX(t) = tdt + g(tABOD ,i = Lon fr rs) 
连续 且 有 连续 情 导 CE CE 则 (Es XI } 革 :， "mn 
天 ,) 有 SD, 且 有 
人 gt) 一 [PX ,0)) 

十 OIG KR) se KE pCE) 


i=1 


ly 
UD AGRE RAGTAGN 


十 Ds KD se Ko AB GY. 
下 一 定理 在 一 定 条 件 下 保证 积分 号 下 取 极限 ,而 定理 30. 3. 6 
将 SDE 化 为 SIE. 
定理 30.3.4 设 廊 ,JEM, 且 | f(D 一 fy]de 一 0 , 则 下 
列 可 分 过 程 间 有 关系 
[x (dB, 一 | fewas. 


了 
—0., 


sup 


tt 


即 对 zEA, 一 致 地 有 | .AdB, 一 | faB,. 
定理 30.3.5 如 dX,=jdi 十 mdB,: 则 
KX, — Ky: = {2cK — Xp + etlde + {2[X. — XJodB.. 
定理 30. 3.6 息 的 恒等式 (identity of moments) 设 了 EM， 
4 一 [0, 杂 ,上 且 对 某 ,E|[ | .Partj ”< 一, 则 对 Y spP € R', 过 程 
Ge 十 Fas,6 十 | fdB,) 为 (1) 怠 , 特别 
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EG.la+ | fds,p+ | AdB] = Ga,B). (30.14) 


这 里 G(x) 一 He zt 守 0,TER"n 访 0; 而 Her(z) 为 埃 
尔 米 特 (Hermite) 多 项 式 : 


He,{z) 一 【一 1)rexPp(CzzA23》 全 exp( 一 2 AZ)， 


前 5 个 GC): 
Gf sx) = 1 CH) 一 了 CC 一 三 一 二 
Gt TI = Tor, GT) = rt zz 十 32. 
例 30.3.7 伊 芯 公式 与 矩 恒等式 的 应 用 
《1) 试 求 dY,, 其 中 站 ,一 e*, 而 
d= adi 十 BdB,. 《30, 15) 


取 g(t,x) 二 e?, 则 由 仇 芯 公式 30, 3. 3 
dy — YL (a + S88)dt + bdB,] 


= Y.(Sid + dX.). (30. 16) 

我 们 现在 来 求 dY 了 ,二 YdB, 的 伊 芯 解 , 与 式 (30. 167 比 较 , 知 名 

一 1,a 十 却 好 一 0, 从 而 w 一 一 到 .由 式 (30.15),dX 一 一 六 dt 十 

dB, 故 久 一 X= 一 元 十 Bi 由 了. 一 eX, 知 Y, 一 Yoexp(B, 一 子 ). 这 

与 按 角 道 直 接 解 4Y, 二 YdB, 所 得 相 比 ,多 一 因子 Ye 一 六. 

仿 上 , 式 (30.167 的 伊 芯 解 可 化 为 先 解 4X, 一 | 一 字 ] dz 二 

odB.. 它 是 将 式 (30. 16) 与 (30. 15) 比 较 系 数 , 按 式 (30. 15) 得 到 的 . 
由 定义 30. 3. 1 , 妃 一 允 , 一 | 一 所 t+oB, 族 二 e*% 有 伊 芯 解 

L/L ~ exp| “= Fj:+toB). (30, 17) 


" 6d2 + 


(2) 于 定理 30.3.6 中 令 n=1, 设 E| | Pdtj A EAI 
< oo, 则 由 定理 30.3.6 及 Gitt,x) 一 7, 知 Gilo 十 | fds,0 十 
| #48,) =| /4B, 为 (7 对 .由 (30.14),E| Ada = Gi(0,0) 一 
0. 这 又 一 次 得 到 性 质 30. 2. 4(42 的 第 一 个 结论 . 
30. 3.2 方程 解 的 存在 性 与 唯一 性 


先 定义 条 件 H,A:C， 

定义 30. 3.8 条 件 H 

C1) att;z) .b,x 为 二 元 博 雷 尔 可 测 . 

(2) 增长 条 件 (growth conditions):3 常数 上 使 ¥Y 1 EA,xE 
Riaittx) Fh rR ry). 

(3) 利 普 希 获 (Lipschitz) 条 件 :3 常数 工 使 

| 人 — atty) | 十 | 人》 一 下 人 | Liz—y|, 

VEaryE 不 ， 

定义 30.3.9 条 件 A 

(4) ao) 会 4(m) 不 依赖 于 一 切 BB 一 B,， 

(5) EA Cw) on. 

定义 30.3.10 条 件 C 

《6) 过 程 忒 ,一切 样 本 在 上 E4 连 续 ， 

C7) | xd < oo, 

(8) 对 每 1 EAX 一 X, 为 区 Ao{A(o),B， Ba<set) 可 
测 , 即 ,一 了 X, 由 :前 的 BM 轨道 决定 而 与 将 来 的 值 无 关 ， 

定理 30. 3. 11 解 的 存在 与 惟一 性 (existence and uniqueness 
of sojution) 设 条 件 孔 及 A 满足 , 则 方程 
dX, = alt, Kydt + Blt, XdB,, 
Xeayoy 二 Atw}) 《初始 条 件 })， 


(30, 18) 
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有 满足 定义 30. 3. 1056),(8) 及 

ECsupX?) < oo (30. 19》 
的 随机 过 程 解 . 是 如 过 程 误 是 满足 条 件 C 的 解 , 则 议 与 基 随 机 等 
件 :P(X, 一 议 ,tE4)=1. 


30. 3.3 方程 的 马尔 可 夫 过 程 解 
定理 30.3.12 设 苞 是 定理 30. 3. 11 确定 的 过 程 解 , 则 
(1) 它 是 马尔 可 夫 过 程 , 初 始 分 布 忆 CX EDP) PE 二, 转移 概 
Plssr,t,A) 一 PR... (E) La 4)， 和 七 [4] ; 
其 中 XX,,, (是 下 一 SIE 的 解 
Fr 二 XX 十 | ar Xdr 十 [ocr, XdB., 
X=TER [Pl, oes tb 
(2 AF lr}=ats rf (Cz) 十 到 只 Gyz) PCz)， 其 中 了 是 二 次 
连续 可 徽 引 在 4 外 为 品 的 函数 ,而 算 子 4, 定义 如 下 : 
AfC) = lim| | ,fps rss + Assdy) — An)j/as 
《3) 叉 如 ay} sb{tyx) 与 无关, 则 解 XX, 为 齐 次 马尔 可 去 
过 程 . 
定理 30. 3.13 设 同 定理 30.3.11 且 aG,z),b(t;x) 为 二 元 
连续 ,A 二 [0,, 则 式 (30.18) 的 解 是 一 扩散 过 程 ,a(t ,x) ,DB (f ,7X) 
分 别 为 其 无 穿 小 位 移 与 方 莽 ,对 任意 有 界 区 域 中 的 上 和 *，, 一 致 地 
有 


(30. 20) 


lim LECX,, — KNX, = x) = altr), 
而 生日 h 


lim ECX — XY):|R, = x) = Fz) 
0 下 
ElCRLtn TT | -一 区 < 三? 人 全》， 

= 全 生生“ 


其 中 CC,x) 为 此 有 界 区 域 中 一 致 有 界 函 数 . 
这 样 在 加 于 actz]6ttz) 相 当 宽 松 的 条 件 下 ,可 以 构造 一 个 
扩散 过 程 . 


30. 4 多 维 情形 


设 nx 维 随机 算 阵 函数 0) 一 CFG) ws 的 元 所 (i， 
w)EMM,B 二 (BN) 和 从 (Bl ,Br”) 为 零 初 值 .mm 维 ( 罗 ,)BM,4 一 [0， 
7 中 本 节 用 店 表 了 的 转 置 ， 

定义 30. 4.1 维 随机 向 量 : 
Nf A fw) dB = | | fdB,., S| tod 


称 为 了 对 BM 的 随机 积分 (ST). 
性 质 30. 4.2 对 m 维 BM 的 SI 的 性 质 
《1) SI 是 f 的 线性 函数 . 
(2) 没 AEMI(C 指 fi EE€ Mi = lnj = lm), 


人 1 加 
a[ wor Cd 过 co , 则 E| fdB, 一 OE | f dB, = 
[i 和 也 


EJ tf fe Ye. 
(3) 如 fg € ME| cj yd 三 00, 则 
El | ra ,| za 会 El utfer yde, 
这 里 { Te" ) 表 内 积 . 
(4) 对 Y AE M, 可 分 向 最 过 程 & 一 | fdB, 以 概率 1 样本 连 
续 . 如 + CE RR", 令 [| 一 《人 和) ,出 对 任意 正常 数 NN 种 C2 有 
Pl sup [#0 | > c] < 二 P| | ifr xo)dt > AN 十 /ea 


* BA5 +* 


1 一 ] 时 


Psup|[ dB)|> < P(t > N+ Ne 


(5) 如 f€ ME| ac 过 00; 则 二 | zaa， 和 4 是 
n 维 一 致 平方 可 积 缺 ,其 特征 是 x X # 阶 矩 阵 过 程 , 且 决 定 于 
| di 又 对 YxE 本 ,及 正 数 < ， 


, 
r| suP | 和 (| > <] 反 : 二 | Cf fr rr)dt, {30.21) 


五 soplé DF] 48| fi zr)de. 《30. 22) 
+ D 


特别 ,a 一 1 时 鞠 | (f.,dB,),t € 4 之 特征 为 | fil'dswt € A. 

(6) 以 treffr ) 易 1 六 和 ,定理 30. ,5 成 立 

设 上 X 关 阶 和 矩阵 过 程 o€ 李 ,n 维 向 量 过 程式 ,hE Mo 且 之 
坐标 分 量 在 A 上 可 积 [Pj, 而 对 Os 所 tf 志 TT, 有 

XX, 一 X, 一 | aas 十 | ea， 《30. 23) 

则 称 x 维 过程 不 有 随机 微分 dX,= juds 十 6.dB,. 

公式 30. 4.3 和 多维 伊 苛 变 换 公式 ” 设 X: 有 = 维 随机 微分 
dX,, ptt,T) 为 AXR" 上 上 连续 实 消 数 , 且 Fj 二 1s7n 连 
续 , 则 gts 蔗 !) 也 有 sD, 有 EH 


dp(t,X) = [ts RI) 十 pt, Ni) 十 roo FH) Ndi 


+ (dF) ,gdB,). (30, 24) 
这 里 A 
定理 30. 4.4 多 维 SIE 解 的 存在 与 惟一 性 设 a(z,z) 和 #5 
Gz) 为 AXR” 上 分 别 取 值 于 R" 和 工 (R”) 和 全 {R" 到 R” 的 一 切线 
性 算 子 ; 的 可 测 函 数 , 且 
a 646 * 


latt sl + jx) | Kr € R"™, 


{30, 25) 
A 
[xz[ 寺 RR,|y| 过 民 ， C30. 267 


这 里 及,Cx 为 某 常数 ,R 预先 任意 给 定 的 正 数 . x|? 一 yx)? ,x 
= Yl) 一 ACw) 


+ 一 1 


万 逐 ， 则 SDE 
x, = A, 《30. 27) 
有 惟一 (随机 等 价 意义 下 ) 连 续 解 XX, 一 (Xi,…,X?). 且 为 马尔 可 
夫 过 程 . 这 里 * 解 " 指 X 为 (多 ,er 适应 , | |Xildt < oo [P]， 
at 下) 的 元 oC ,X,) 在 [0,7T] 平 方 可 积 [LP], 旧 和 有 SD(030. 27》 
和 和 一 4. 

定理 30. 4.5 设 同 定理 30.4.4 有 日 a(t,x},B(t,x) 为 连续 , 则 
(30, 27) 的 解 是 一 扩散 过 程 ,漂移 系数 向 量 yti,x) 二 att,x) ,扩散 
矩阵 于 人 sz 一 50tx)5 tr) 初始 分 布 为 PLAET) ,而 转移 概 
率 Plsszrit,) 二 PC(R,Q)ET) 和 -Ci 是 


SG) = z+ aes (eVdr + [Br,é()dB 0 Cs tT 


的 解 . 
定理 30.4.6 设 同 定理 30, 4.4 惠 att,z) ,58(t,x} 连 续 , 且 对 
工 二 次 连续 可 微 . 又 对 革 p>0 及 0， 


{x 一 att Kdi 十 人 RYdB,, 


+t da (tx) sn| 

十 | 上 9s) 

> 2 Bad 人 了 
人 TE | + Ix), 


而 gk) 为 R" 上 二 次 连续 可 微 实 函 数 ,满足 
。647。 


ol t+ Dl 


则 函数 wts ,zx) 人 Ep(X, (2)),， Osta , 伺 R”" 满足 科 尔 黄龙 
罗 夫 向 后 方程 ,这 里 X,,, (7) 同 (30. 4. 5) 


| ) 2 全 
一 + Des, 一 一 一 全 


| 和 2 十 |zj*), 


十 去 3 (sz) ES) 一 0. 


=, 可 让 加 各? 
了 一 1 


及 边界 条 件 limu ts ,7) 一 Tr), 


30.5 随机 微分 方程 的 模型 与 应 用 


30. 5. 1 白 蝶 声 
BM 的 协 方 状 函 数 GD min Go 是 连 纺 的 ,因此 (B 是 
均 方 连续 的 . 人 全 导数 jsGD 一 革 Tuts) 不 存在 , 礁 (B,) 均 


方 导数 不 存在 .但 形式 上 有 Pa 一 未 FT st) =OCs— 让, 它 形 


式 上 表 孙 B(5) 与 B(4) 在 s 关 t 时 不 相关 ,这 里 86(，) 为 犹 拉 克 
《Dirac) 歼 数 ， 称 汪 人 AW.,tE RR 之 0. 为 ( 正 态 ) 白 曲 声 过 程 (white 
noise process). 它 不 是 一 个 实际 的 物理 过 程 ,而 是 一 种 数学 的 抽 
象 : 它 的 平均 功率 是 无 限 的 ,功率 谱 密 度 是 一 个 非 零 常 数 . 

注意 B 是 高 斯 过 程 , 如 Y 是 一 个 高 斯 过 程 ,其 均值 为 0, 协 方 
差 函 数 TGs,t) 一 EY,Y, 有 连续 二 阶 偏 导 p30) 一 了 FT , 则 
其 均 方 意义 下 导 函 数 疣 对 所 有 :存在 , 且 仍 为 正 态 ;Ty (x,1) 二 
EY.Y, 二 plssf), 故 适当 选择 Y, 则 六 可 作为 白 噪 声 的 一 种 近似 . 白 
噪声 B= 二 W, 可 视 为 连续 时 间 平 稳 高 斯 过 程 ,均值 为 0, 协 方差 函 

.648 ， 


数 汶 5(5 一 2)， 
在 实用 上 如 某 随 机 信号 ,在 实际 系统 的 通 频 带 范 围 内 具有 较 
平坦 的 功率 谱 密度 ,就 可 近似 作 自 噪声 处 理 ， 


30. 5. 2 ”随机 动力 色 统 


设 了 为 一 光滑 的 ( 即 大 连续? 实 值 王 数 , 全 :为 一 随机 分 布 函 
数 , 称 下 一 形式 的 SBDE 的 解 为 -一 连续 的 随机 动力 系统 Ccontinuous 
stochastic dynamical system)}: 


dX, 
de = fF,K,, WW), (30, 28) 


初 值 条 停 忒 。 固定 或 是 一 确 知 其 分 布 的 随机 变量 . W, 也 叫做 随机 
输入 因 于 . 在 涉 太 随机 控制 ,滤波 ,外 椎 及 预报 研究 的 物理 工程 模 
型 ,会 经 常 遇 到 这 类 问题 ( 见 第 31 章 ). 

只 涉及 一 个 非 齐 次 随机 成 分 时 ,030. 28) 有 如 下 形式 
$x, = ft, Ri) + Wo. (30, 29) 
由 和 白 虐 声 导出 的 线性 振荡 天 ,其 移动 位 置 对 应 一 个 二 阶 SDE 


及 六 记号 | 


区 十 28 和 + PX, = BA W,, (30. 30) 
这 里 阻尼 参数 8 与 惯性 常数 7 了 均 为 实 的 常数 . 车 邻 Xi (一 
XD 古人 二 CX TW,=(0,W)", 则 (30. 30) 可 写 为 向 
量 形 式 ; 
10 1 
一 说 — 28 
从 而 可 视 为 式 (30. 29) 的 一 个 特例 ， 
1， 奥 恩 斯 坦 - 鸟 伦 从 克 过 程 
设 了 ,为 时 刻 t 在 液 面 上 运动 的 一 粒子 的 茶 方 向 上 的 速度 ,mm 
. 640 ， 


下 一 XW,, (30. 31) 


为 其 质量 ,一 六 表示 粒子 与 液体 摩擦 而 产生 的 阻尼 力 , 则 由 牛顿 
第 二 定律 ,可 知 


mY 一 一 fY, + W, ti0,f>0. (30. 32) 

这 里 W 是 分 于 冲击 粒子 所 产生 的 总 合力 , 设 为 正 态 白 噪声 . 令 8 
一 了 /zz 到 可 写 为 

qd7, 一 一 有 由 十 dd 月 全 00 而 区 一 站 130.33) 


由 定理 30. 3. 13, 其 解 是 一 扩散 过 程 ,漂移 系数 aG,y) 二 一 By; 扩 
散 系 数 所 GG,y) 二 1, 直接 解 得 


Yy, — fe “ndB, C30, 34) 
8 
由 节 25, 3.4 知 为 奥 恩 斯 坦 - 乌 伦 贝 克 (Drnstein-Uhlenbeck 过程， 
其 转移 密度 为 
Ptyzyy) 一 中 坟 (1 — e-), ee,y] ， (30.35) 


其 中 Bt 一 iP Cy XD) tO TryER!, 


. 车 以 叉 表示 上 时 质点 位 置 , 则 由 XX 一 X。 一 j ras 及 定理 
22. 4. 6 知 ,X， 为 正 态 ， 区， ~ ND, CBt 一 1 十 e 汪 )A 
2. 简单 信号 防护 模型 


电力 动态 系统 常 表 如 下 SDE: 
d 一 了 Xdi 十 GdB， (线性 ) 
和 dX, 二 f(t)dt 十 alX,,tYdB，( 非 线性 ) 
可 观察 的 过 程 受 控 于 


d2, = H,Xdt + Rdp.. 
这 里 吾 与 入 为 独立 的 BM, 详 见 [91],[L92]. 


30. 5. 3 ”随机 环境 中 的 群体 增长 


大 多 数 生态 模型 可 写成 
" 650 。 


N= /ND) TENOW ， 人 二 已， (03036) 
其 中 N, 为 上 时 群体 的 大 小 ,最 简单 的 是 “指数 ?增长 方程 
N= Ca XVIN,, 或 dN, = aNdi + YNAB, (30. 37) 
ay 为 常数 ,a 十 YW 六腑 时 增长 率 ,这 里 考虑 到 了 随机 环境 的 周 
响 . 此 方程 在 贫 芯 积分 意义 下 的 解 是 (0,=e) 上 扩散 过 程 ,其 漂移 与 
扩散 系数 分 别 为 ACz) 一 az 和 (Cr) 二 YYxi, 由 (30.16) 也 可 得 此 解 
为 一 拓 广 的 几何 BM,N,=exp (+7B. 
车 改写 (30, 37) 为 dN,/N, 一 adt 十 YdB,, 则 两 边 积 分 解 得 入 ,一 


Noexp (at 十 YB) ,这 是 p(x) 一 [a 二 二 7|z 和 Cz)~=7rz7 的 另 一 
个 几何 BM. 漂移 系数 多 出 去 7*z 项 是 白 噪声 造成 的 , 在 S 积分 前 


义 下 从 (30, 36) 可 准确 算出 这 些 系 数 . 在 :>oo 时 ,如 0<a< 二 7 
则 仇 逐 意义 下 的 解 过 程 W_>0, 而 后 者 9 积分 意义 ,N,xoc. 

例 30.5.1 随机 逻辑 斯 详 方 程 ”一 种 生物 聚居 地 的 承受 能 
力 可 描述 为 


N= Nae 填 7 一 N)， 
其 伊 芯 解 是 gtr) 二 zta 一 和 Cr) 一 77z 的 (0,co) 上 的 扩散 过 
程 , 而 9 意义 下 的 解 的 漂移 系数 也 增加 也 一 项 . 后 者 全 有 平 
稳 概率 分 布 密度 ,EN 一 a1V CN) 一 亏 o7', 而 前 者 只 在 2ajj2>1 
时 才 有 平稳 分 布 . 
30. 5.4 基因 产 数 波动 . 


有 两 类 生物 4; 和 4, 组 成 的 一 个 大 群体 ,在 上 时 A, 的 比重 为 
ao,4) 对 4 的 固有 遗传 选择 优势 为 1+s 比 1, 则 基因 频数 变化 


的 确定 性 方程 为 p21) 二 sp (1 一 力 ). 将 选择 微分 sdi 以 白 噪声 微分 
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d 襄 ,代替 ,并 要 求 E(dB)=adi ,E(B,)’==ydt, 则 

dp 一 户 (1 — pi)dB,, (30. 38) 
有 一 扩散 过 程 解 ,系数 jz) 二 azx( 一 fz) ,C(x) = 二 Vr(1 一 4) 
30. 5.5 动态 经 济 问题 


最 近 20 年 间 , 用 SDE 描述 和 解决 动态 经 济 问题 有 了 很 大 发 
展 . 传统 的 经 济 数学 模型 致力 于 生产 和 消费 因素 间 瞬 时 的 和 平衡 
的 相互 关系 ,而 SDE 提供 一 条 途径 ,把 作用 于 多 经 济 单元 (劳动 
力 , 技 术 变量 ,股票 价格 等 等 ) 的 随机 因素 .不定 因素 及 危险 因素 ， 
都 协调 起 来 考虑 . 其 次 ,用 连续 SDE 来 刻画 随机 波动 , 常 可 作 更 为 
精辟 的 分 析 ,容易 阻止 和 预防 那些 敏感 刺 端 出 现 . 

主要 用 于 三 类 现象 ; (1) 在 不 确定 条 件 下 描述 确定 因素 的 增 
长 ;(2) 在 市 场 条 件 不 变 情况 下 优化 价格 变量 的 本 质 ;(3) 随 机动 态 
规划 与 控制 目标 . 

. 单一 经 济 的 部 门 中 不 确定 条 件 下 的 生产 与 消费 变量 

令 天 ,为 上 时 资本 资产 ,二 为 可 用 劳动 力 ,C, 为 消费 率 . 在 许多 
场合 要 求生 产 函 数 羽 ( 开 ,z) 对 民 沁 是 凸 的 和 齐 次 的 , 邵 知 的 科 布 
-道格拉斯 Cobb-Douglas) 生 产 函 数 恶 (并 , 工 ) 一 天 0<a<1 
即 一 例 . 动产 累积 方程 为 

天 一 下 (天 ED) 一 人民, 一 CC 《30, 39) 

此 处 为 资金 的 贬值 率 , 由 于 人 口 数量 从 而 工 是 受 随 机 于 扰 支 配 
的 , 故 设 


dL = Lladt 十 odB,], 30, 40) 
式 (30. 17) 已 给 出 解 
LiLo = expl{ta — aoa/2)i + oB,), 
这 是 有 指数 漂移 的 下 何 BM. 
1652 


2. 优化 累积 模型 
生产 过 程 设 为 六 ,一 F( 太 ,,14,2Z1) ,2, 为 上 时 技术 ,并 设 5,7 为 
常数 及 
民 二 ,一 CC, 一 SK,( 累 积 方程 )， 
L = YL,, (30. 41) 
d2, = nC(Z)dt + olZ)dB,. 


典型 的 随机 控制 问题 是 找 符合 上 述 条 件 的 C 使 五 coerd 
最 大 ,这 里 UCC,) 是 消费 率 为 C, 时 的 对 个 人 所 应 设置 的 公用 事业 
设备 费 . 


30.6 ”对 著 的 随机 积分 方程 


存在 定理 30. 4. 4 中 利 普 希 获 (Lipschitz) 条 件 太 强 了 ,许多 问 
题 中 不 能 满足 , 另 一 方面 , 早 在 50 年 代 初 杜 布 就 注意 到 可 入 对 
BM 的 伊 苹 积 分 给 出 对 某 些 对 的 随机 积分 ,这 只 要 在 条 件 30. 6. 1 
成 立 的 假定 下 ;以 (也 小 团 MM 和 | Zas 分 别 易 (9 DBM 五 和 t+, 就 
可 实现 , 

末 件 30.6.1 邮 = CM) 为 (多 ,) 蒜 , 且 了 ( 胸 ) 适应 过 程 
CD ,使 EECM 一 MD72| 灾 本 一 如 | Fas 有 小 


略 作 推广 ,以 非 负 (8 适应 过 程 (z) 代 葵 | | f.duj ,并 要 求 
M,,M? 一 下 都 是 (多 ,) 著 就 够 了 . 60 年 代 近 耶 CMeyer) 证 明了 对 平 
方 可 积 蒜 , 上 述 过 程 CF) 存 在 ,从 而 向 现代 革 论 及 随机 积分 迈 出 关 
键 一 步 . 

条 件 30. 6.2 设 1E4=[0.,T],zER”"， 

(1) 取信 于 上 (R”")( 见 定理 30. 4.4) 的 5(2,x) 的 所 有 元 素 
Bz) 是 (t,x) 的 连续 葡 数 ,和 且 满 足 ( 必 (rf, x) 60,690) 之 c 1 01， 
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X60E R" yc 为 菜 正 常数 . 

(2) 对 ¥ Gz) EAXR", 答 阵 5(;7)== 7217) 正定, 即 对 
一 切 非 零 9,.C6 (4,x)8,0) >0. 

(3) mm 十 1 元 函数 a(t,z) 可 测 卫 有 界 . 

定理 30. 6.3 设 避 为 4 二 [0,TJ 到 R" 的 连续 孙 数 全 体 ,二 
二 0{ 针 ,5 和 tf 夸 了} ,六 ,七 人 0. 叉 设 条 件 30, 6. 2 成 并 , 刚 对 ¥ sE A 及 并 
ER", 在 (人 2, 他 ) 上 存在 惟一 概率 测度 Ps 使 

Pi (XK, 一 工 ) 一 1， (30, 42) 


过 程 一 XX 一 eles)duot E [s, 了 1], 是 关于 (好 ,P21) 
为 平方 可 积 狗 ,有 马尔 可 夫 性 , 且 以 | (x,X.)du 为 其 特征 . 
设 Y 了 =《Y,) 为 [s;,T] 上 nXwm 维 过 程 ,( 实 ,) 适 应 , 且 
Pl[ urs ,XY dt < | =1, 
则 仿 对 BM 的 积分 定义 30.4.1 及 30.2.3, 可 定义 了 对 平方 可 积 蒜 
M, A X,— X,— | (usX, du 的 随机 积分 为 
I(Y,M) = [Yam. 
如 Es | [YE ;XY ]d < oo, 则 可 分 过 程 &M) 会 | 了 du 
EE [5 了 了] ,关于 (人 Ps) 是 连续 平方 可 积 蒜 , 其 特征 为 
(Cl 》 = [Yar,XoY: dr. 
特别 令 蕊 一 夺 人 ,天 7), 则 过 程 
B A vic Xd. E [s,T], 
关于 (从 ,Py 是 BM, 且 
M = [Cr, XdB., > (30. 43) 
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这 样 在 30. 6.2 和 条 件 王 ,对 YE[L0TJ,zrER" 在 和 上 存在 产 维 
BMD) 使 


X, = XX, 十 | acr,xodr 十 [cr, XdB. 


从 而 在 akisx).6(t,z) 是 够 光滑 条 件 下 ,可 构造 SDE 的 扩散 过 程 
解 ( 常 称 为 弱 解 ). 
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31 ”预报 与 滤波 
31. 1 预报 理论 


车 Xr 二 { 芝 G) ,EE 人 了) {TT 为 整数 集 或 全 体 实数 ) 为 平稳 过 程 
(23.1), 当 随机 变量 天 (2) 直 到 时 刻 t 为 止 的 值 下 (3) (Cs 所 t) 已 被 观 
测 时 ,要 研究 的 问题 是 以 这 些 观测 值 为 基础 ,对 +z(r>0) 时 间 的 
值 进 行 预报 . 预报 理论 (prediction theory) 是 由 科 尔 莫 姜 罗 夫 与 维 
纳 所 开创 ,后 来 又 有 许多 人 研究 . 这 个 理论 是 平稳 过 程 理 论 当 中 的 
一 个 重要 分 支 , 它 应 用 于 通信 ,电工 学 ,气象 ,水 文 以 及 经 济 问 
题 中 . 

设 对 庆 (十 rz) 的 预报 为 各,(r) ,预报 误差 可 以 选用 不 同形 式 : 
均 方 误差 ,条 件 概率 及 误差 概率 等 . 在 工程 技术 中 广 为 采 用 的 是 均 
方 误 差 ,这 样 ,预报 标准 就 是 要 使 互 |XGt 十 一 总 Cr) 最 小 . 显然 
和 (rm 应 是 序列 (ss 委 上 的 菜 个 洱 数 ( 叫 预报 阔 数 prediction 
function)g(rt, 人 Og (XX,,s1). 由 于 高 斯 序列 是 实用 中 最 大 量 、 最 
有 代表 性 的 ,而 在 X,,s 志 1 的 所 有 线性 炒 数 中 ,如 某 加 性 郊 数 
sttsz) 使 预报 的 均 方 误差 最 小 , 则 对 所 有 大 ,st 的 图 数 用 作 预 
报 ,g (1,75) 也 法 最 小 . 因此 本 章 主 要 考虑 采用 均 方 误差 的 线性 
预报 . 

与 线性 预报 理论 在 问题 的 提出 与 解决 方法 上 都 有 许多 类 似 之 
处 的 ,还 有 插值 (interpolation) (本 章 略 ) 与 滤波 (filtering). 滤波 产 
生 于 从 混 有 了 噪声 的 信号 中 分 高 出 所 需要 的 成 分 的 通信 问题 . 

定义 31.1.1 平稳 线性 最 优 预 报 . 设 {X(),tET} 为 概率 空 
间 (0,.F,P) 上 的 恰 平稳 过 程 , 且 EC(XC)) 二 0. 令 .A 为 使 {天 C5) | 
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5 让 可 测 的 最 小 o 代数 , 玉 () 为 -让 可 测 且 关 于 概率 测 豆 己 平方 
可 积 的 函数 全 体 所 构成 的 希 尔 伯 特 空间 ,MCX) 为 由 {X(s) ,st 
所 组 成 的 线性 子 空间 . 且 

Un = HOW), U MX) = M(XY. 


当 {XX(s)， si) }) 巨 知 时 ,由 五 ， CX) 或 MCXD) 的 元 六.(T) 对 六 (十) 
(rt 祈 0) 进 行 预报 ,这 就 是 预报 理论 问题 , 称 全 ,7r) 为 了 (tz 十 7) 的 预 
报 值 Cprediction )， 
定 凡 31. 1.2 在 预报 值 中 使 预报 均 方 误差 

(rT) = ECIXU Hr) 一 总 (Cr)|2) 
最 小 的 葬 (r}yE DHAX), 称 为 均 方 最 优 预 报 imean sguare optimum 
prediction), 当 所 求 的 号,(z) 限 于 M,(X) 时 , 称 为 最 优 线性 预报 
optimum linear prediction) 或 者 四 推 (extrapolation)， 
由 发 (GET 的 平稳 性 ,or 与 上 无 关 ， 
线性 预报 的 最 优 预 报 值 是 环 人 十 六 向 型 :5 和) 的 投影 ， 
车 了 为 整数 集 , 叉 (1:) 有 谱 分 解 

XAXG) = | ed 


这 时 必 存 在 关于 谱 测 度 dF (20)=E(ldt02) 5 平方 可 积 的 函数 
CA,7) ,能 将 X(rz) 表 示 为 
部 (r) 一 『 erpcA, dN). (31.1) 

一 般 ,M《X) 与 :同时 增加 ;而 当 MC(X) 与 无 闫 时 , 称 六 ,为 
确定 性 的 tdeterministic), 当 们 M0) 二 {0} 时 , 称 为 非 确定 性 的 ， 
此 时 则 可 求 得 多 Ar) :使 对 一 切 的 fot 有 着 ,CT 二 XC 十 TY). 

如 果 叉 , 是 纯 非 确定 性 的 , 则 其 谱 测 度 关 于 勒 贝 格 (Tebesgue》 
测度 绝对 连续 ,其 密度 函数 f() 几 乎 处 处 为 正 ,并 且 


| logf Vd > — co， (31. 2) 
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且 反 之 也 真 . 
下 面 用 此 /Ga 来 给 出 最 优 预 报 值 ,存在 属于 关于 单位 圆 的 哈 
代 (Hardy) 族 右 ; 的 


r(z) = VCO), (31. 3) 
用 其 边界 函数 YC) 一 r(e- 将 /入 表示 为 
f= 让 [DL (31. 4) 
而 X, 可 用 白 蝶 遍 序 列 {8,t€ET) 和 rlz) 的 系数 C0) 表示 为 
一 3 Ct 一 se (31. 5) 


这 是 后 向 滑动 和 模型 . 这 里 满足 (31. 5) 的 {C()) 和 {5) 的 组 昌 有 
多 种 ,但 当 r(z) 为 极 大 时 ， 


r(z) 一 VERexp 去 | og + @ 熏 itd]. (31. 6) 


(31. 5) 的 表示 在 下 述 意义 上 是 标准 的 : 即 对 任意 上 有 M(X) 一 
Ma), 因而 闫 ,人 为 申 十) 向 M.(e) 的 投影 ， 


R= SCG+r— Se, 《31.7) 


| 一 | ep, 0)). 
并 且 人 Ar) 一 er 
预报 误差 为 


zx 一 SCG)e™| /rm， 
Tr 


ACE (31. 8) 


+ 二 从 


31.2 各 类 时 序 模型 的 预报 方法 


31.2.1 上 ARC 序列 的 预报 方法 


设 ARC 序列 为 KB)X, 一 5 ,其 中 
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公式 31.2.1 yg(B)=1 一 gpg8 一 gyB: 一 -… 一 9%B?*,s 为 特 噪 声 
序列 . 预报 方法 如 下 

1. 弟 推 公式 法 

关于 的 递 推 预 报 公式 为 
PPIR A =0, 70, 


公式 31.2.2 
公式 {ex 10. 


后 一 式 给 出 初 值 .5 越 大 时 ,预报 准确 性 越 差 . 这 里 g 认为 已 知 . 
2. 预报 阔 数 法 
将 闷 (G 可 写 为 一 般 形式 


户 
RD = SEMAD, Ll>—p. {31. 9) 
i=] 
初 值 为 六 (一 站 二 ys 7=0s11"**s pO—1; 必 
H 
Def = Xj j=010,p— 1. 
i=1 


由 此 求 出 名 ,代入 (31.9) 所 得 , 即 为 预报 函数 , 由 此 可 方便 地 作 
出 预报 ， 

由 公式 31.2.2 和 式 (31. 9) 可 知 , 对 于 ARtp) 序 列 , 其 预报 值 
各 (DC 2 的 只 需 用 到 大 ,和 -各 的 值 . 而 用 不 着 更 早 的 
历史 值 XC 和 有 一 p). 

例 31.2.3 求 (1 一 mgB 一 ppB*)X, 一 s 的 预报 . 

解 ” 由 公式 31. 2.2 可 得 

RR) 一 pK 1 mR 2), {> 0， 

初 值 着 (0) 一 中 二 (一 1 一 X 

下 面 找 预 报 函 数 . 令 

HB)=1— 9B~ fgB A 2B) — zB), 

EB = ,zs 为 红 百 ) 一 0 的 两 个 根 ， 

当 z],z2 为 两 个 不 同 实 根 时 ,由 例 23. 7.6 
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RD = bel bz, 1 2 
其 中 6 各 ,6 满足 方程 
他 + 6 = XX, ( 取 / 一 0)， 
br 十 6x71 二 XX， (到! 二 一 1. 


由 此 解 出 
pe 一 及 ol ab 一 Xi 一 ZN 
1 1 一 gsgT1i ’ 2 1 一 zz2! ’ 
得 预报 函数 
i+1 t+1 + i 
; 2 _ Tal21 一 22} 
XC 一 Zi ” 有 本 _ ws 1. 


车 zz 二 zz, 由 例 23, 7.6 可 得 
RD 一 (十 DX LX, 21tt, 
若 zx 沁 一 对 共 罗 复 根 ,z1 一 plcosa 十 isina) ,z* 一 xi 可 得 
KAD = bt pcoste 十 区 "psinzp， 
由 初 值 解 出 6» ,一 1,2, 预 报 函 数 为 


ED) = Ko sint 十 la 


sine 


Sin 二 
ET 一 一 一 
-18 sina 


31. 2.2 MA(g) 序 列 和 的 牢 报 方法 

设 久 ,为 MA(g) 序 列 ,满足 二 人 (B)s, 其 中 

(B=1— 0B— OB 0B, (31. 10) 

预报 方法 如 下 : 

1. 直接 方法 

MA (gq) 序 列 的 逆转 形式 为 X, 一 之 ;TiX 十 56, 其 中 了 是 下 
一 展 式 的 系数 

-1(B)=1— LB. 


预报 公式 为 
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_ 了 0 袜 和 9， 
有 人) = 4 jo! 《31. 11) 
0， {> 9. 


其 中 


i—1 
人 十 0 SET < TI 


i=| 
I -一 了 i > 9g. 


由 公式 (31. 10) 可 知 ,站 ,(2) 要 用 到 金 部 历史 数据 和 _;(j 所 0). 
但 是 真实 数据 是 有 限 的 ,实际 应 用 时 只 是 有 窃 和 的 近似 , 邑 


RAD HOKE js OLEg, 《31. 12) 


其 中 M 为 采样 数 , 如 果 MA 序列 是 可 道 的 ,I 便 具 有 人 负 指 数 的 收 
得 性 ,因而 天" 也 是 负 指数 衰减 的 . 由 工 的 收敛 速度 适当 地 选取 
MM, 以 保证 其 预报 精度 ， 

2. 预报 矢量 的 递 推算 法 

定义 31.2.4 称 

天 一 《证 人) ,着 (2) "让,(q))T 

为 MA 序列 的 预报 矢量 (prediction vector》 

用 各 (1) 二 0(1>>q) 一 起 描述 了 在 有 时刻 对 未 来 的 全 部 巴 
报 结果 . 由 于 MA 序列 GG 二 一, (S79); 其 中 GG, 为 格林 函数 ， 
应 用 

Ri th) = KD + GAKi — HN), 


得 到 MA 序列 的 递 推 公式 为 
a 1 0 i 0 9, 
办 8 如 2 人 
下 ?+ 一 | 。 » KIO | Ki, (C31.13) 
B 0 0 »» 1 2 


递 推 的 初 值 可 取 某 时 刻 & 的 况 ! , 它 可 以 直接 求 出 . 当 友 很 
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小 时 ,也 可 取 为 0, 由 于 (31. 13? 的 迁 代 烙 式 是 稳定 的 , 当 关 增 大 到 
很 大 以 后 , 初 值 的 误差 影响 将 会 逐渐 消失 ， 


31.2.3 ARMA (p,qg) 序 列 的 预报 方法 


设防 , 为 平稳 可 道 ARMA (p,q) 序列 (23.7.1), 可 写 p(B8)X, 
二 900Bys ,其 中 4KB),0(B) 分 别 由 (31, 2.1) 及 (31. 10) 定 义 ， 

1. 直接 方法 

ARMA (Cp,g) 序 列 的 直接 预报 方法 就 是 从 模型 本 身 出 发 进行 
预报 . 有 三 种 等 价 形式 : 

(1) 由 差分 方程 预报 

公 焉 31 2.5 

部 (中) 一 pi 一 让 二 vigx,, 十 DT 

上 式 中 若 求 和 上 限 小 于 下 限 , 约 定 此 和 为 0, 下 同 ,公式 (31. 13) 是 
以 寅 (13， 率 (27， 训 pi 为 变 元 的 线性 方程 组 , 它 的 
系数 矩阵 是 下 三 角 阵 ,因此 只 需 估 代 求 解 ,这 在 计算 机 上 容易 
实现 . 

(2) 格林 函数 预报 法 

预报 公式 为 

公式 31.2.6 

部 ,1) 一 Doe js 


其 中 格林 函数 CG 可 由 ARMA 模型 的 参数 递 推算 出 . 
(3) 道 函 数 预 报 法 
预报 公式 为 
公式 31. 2.7 


Er 


RD = DPX 一 TOCBIX,, 


j=l 
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其 中 再 2(B) 一 2 且 PB 而 五 ?由 下 式 给 出 
i=1 
i—1 
上 一 一 十 DH i > 1， 
i=*l 


i 


nm 和 =n 
这 里 1; 由 £5 2 HBiX, 诀 定 的 系数 , 卫 , 一 1. 
2. 预报 矢量 的 递 推算 法 
ARMA(CD 序列 的 预报 矢 基 为 
况 ; 一 【总 (1) 2) ,TT, 
预报 公式 为 
公式 31. 2.8 
KRC) = GR + aX + B, 


其 中 
— 1 0 0 0 
一 必 0 1 1 0 0 
和 = : : :; ; ;i; :i |, 
— gi 0 0 1 
一 十 Ye 
Qa= (pa 
B= [0,0,.,0, Pg) 
er 
Td ie, 
0, jp. 
当 ps<sd 时 ,上 式 中 8 二 0. 初 值 取 为 
让 一 〔 训 (1) ,六 (2) ,站 C9))T, (31. 14) 


可 由 直接 预报 法 计算 得 到 它们 . 在 可 逆 性 条 件 满足 时 ,也 可 取 X% 
=0. 
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31.3 时 间 序 列 的 新 息 实 时 预报 


在 许多 实际 问题 中 ,特别 是 那些 要 求 连续 进行 实时 预报 的 问 
题 , 希 望 根据 已 获得 的 数据 x ,zz 给 出 x+ 严格 的 线性 最 
小 方差 预报 ,并 希望 有 实时 预报 的 递 锥 算法 . 本 段 介绍 的 新 息 实 时 
预报 , 便 是 一 个 解决 办 法 . 


31.3.1 新 息 预 报 原 理 
新 息 预 报 原理 令 
2 人 (XXX 一 DaX,,a 为 实数 } ， 


根据 有 对 已 所 做 的 最 小 方差 线性 估计 为 
站 E EX | 买 。 区 1 :1) EA ECXi4 1- 和. 


定义 31.3.1 最 小 方差 线性 合计 中 的 一 步 预报 误差 
名 一 全 一 Ls 二 1,2,-. 


所 组 成 的 序 询 {4) 为 {Xi} 的 新 息 序列 (new information series). 
令 四 二 {sie 一 pe 为 实数 } , 且 设 Es&.X; 一 0 < 
Pse 一 6. 天 志 则 六 可 表示 为 6eai se 的 线性 组 合 
Kitis 一 Ds 《31.15) 
式 中 系数 .可 由 极 小 化 ECX 一 总 .0 求 出 . 
31.3.2 新 息 定 理 


定理 31.3.2 新 息 定 理 (new information theorem) 设 {XX,} 
是 满足 ARMA(p,g) 模 型 的 平稳 零 均值 序列 ,i 记 Q@=max(p,9)， 
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Xs kA 
今 Y= 2 《31. 16) 
六 Ep. [3 人 
;1 
刚 新 息 序 列 {s:)} 江 足下 列 递 推 关 系 : 
Y, = 部 |， 点 一 ls 
4 一 1 
& 一 Ze 1 < kd, (31. 17) 


At 
了 一 2 Soejr k > &, 


了 一 是， 了 

一 1 
[rlY) 一 DY darile) |] (re 

1 1 

1 和 明生 旬 ， 1 入/ 雪 有 一 1， 

其 中 可 一 一 1 
[CD 一 2 Tod srale) ] (re)) 1， 

让 = 此 一 时 


(31. 18) 
式 中 ritY = FEY.Y,, rte) = Ee, 而 
r]] CY), 下 一 1, 
是. 上 
re) = 1 Tree LS hEQ, C31.19) 
有 一 1 
ratY) 一 >， -rp 六 已. 
j= 上 一 妆 
31. 3.3 新 息 预 报 公式 
公式 31. 3.3 新 息 预 报 公式 
4 一 1 
tt 一 > .Joe 十 于 2， 
j=1 
+ 一 Rt EE} 
Yr 一 >) PR 一 ries k++!i>&. 
了 一 二 一 下 jig 
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上 式 经 调整 并 在 线性 空间 .这 } 上 投影 后 , 便 得 和 的 7 步 实时 预报 
公式 为 


Sse, A+iQ, 
六 ,444 二 可 ， ， (3]1. 20) 
一 Doicat ooe， k+l>Q 
J 一 1 一生 十 了 一 生 
当 [一 j 扩 0 时， .i 


要 注意 ,J 内 与 的 模型 参数 值 有 关 ，, 而 与 它 的 样本 值 无 关 ，,ex 
还 与 芭 ， 的 样本 值 有 1 有 关 ， 


31.3.4 新 息 预 报 的 程序 设计 


新 息 预 报 的 计算 过 程 如 下， 

《1) 假设 在 新 息 预 报 之 前 ,根据 已 获得 的 有 限 长 度 欧 样 本 序 
列 ,建立 了 ARMA(Cp,q) 模 型 ,并 由 (31. 16) 产 生 了 长 为 六 的 序列 
{Yi}. 设 工 为 预报 的 最 大 步 长 , 随 着 Y; 的 序 贯 输入 ,新 息 定理 中 的 


各 种 数字 是 依 如 下 顺序 进行 计算 : 
Y Y Y 
1 2 3 J 
+ J 41 
6 IC(E) da YE > ral(E) > J E> rstE) > J 
J 
其 中 计算 初 值 为 
E 一 了 ,一 区， 
六 (31. 21) 
ri te) = re) 一 FPG 
2) ritY) 的 计算 
EFEX; 一 了 用) 是 去 总 ， 
ratY) = 下 了 -eo ga 00, Tk 《31. 22) 
EY.y; = BY (Br _(X) 光志 J 起. 
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其 中 B88 中 二 =] 一 B11 一 各 B :一 一 B+*, 算 子 B 作 用 在 
4 (X) 的 下 标 (% 一 六 上 ,具体 计算 时 ,rs,(X) 由 它 的 样本 估计 


BE 


入 方 > zoe- 代 蔡 ,当下 去 @@ 时 ,ru 依 下 对 角 线 计算 较为 方 
便 . 而 4>Q 时 , 按 上 对 角 线 计算 (如 下 表 ). 


R= rariatis Poi-2-a Tat Tot 
下 二 2 十 2 FO 2 Fa Fe tl 
&=@ 二 gl TOFstiall Falstld+t2 


上 记 Q 时 ,ru(Y) 的 计算 规律 

C3) Jw 的 计算 

新 息 递 推 公式 中 ,i 的 计算 工作 量 最 大 ,计算 过程 最 复杂 . 分 
三 种 情形 计算 2， 

1) ESE 

每 计算 一 个 所 ,需要 用 到 ya (31.17), 而 计算 
Jotj 六 1) 时 ,又 要 用 到 sy J yd 和 Jaay dees "sy Tiy-1 
(31. 18), 计算 量 随 的 增加 而 增加 ,而 每 计算 一 行 .mu ,7 一 1，2， 
,上 一 1 ;就 要 用 到 前 面 全 部 的 J (7 二 124 和 i 一 1)i 二 2,3,**， 
一 ]) 值 ,在 2<<k<Q 范围 内 , (yo 元 索 的 总 个 数 为 十 QQ 一 1 

2) QREN 

计算 每 一 个 5, 只 要 计算 Joe yi-1 这 gg 个 值 (31.17)， 
计算 量 不 随 站 的 增加 而 增加 ;计算 每 一 个 .1 , 需 依次 用 到 ,4s_。， 
和 (31.18). 将 计算 sos, 1 所 依 
次 用 到 的 全 体 .与 ;排列 起 来 ,也 是 一 个 三 角 阵 , 阵 中 元 素 个 数 
为 4 人 9 一 1). 

3) NEN 二 TL 

此 时 El =0, 为 计算 下 只 要 知道 下 了 . i 
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的 计算 同 (2) ,但 随 上 的 增加 ,需要 计算 的 i 个 数 是 递减 的 ,如 图 
所 示 的 倘 置 直角 梯形 . 


NIRN+TI-9 NN+ 2 油 反 二 村 Nt 
dN Na wr ran . 二 

~- 
PN " tt 


31. 4 ” 非 平 稳 时 间 序 列 的 预报 


在 许多 实际 问题 中 ,由 其 测 直 接 得 到 的 随机 序列 { 和 .ET 了 
并 不 平稳 ,而 是 呈现 出 明显 的 趋势 性 (trend property) 和 季节 性 
(seasonal property), 这 时 { 导 ET) 是 非 平稳 过 程 , 取 

KO—= A+ Yi 《31. 23) 

其 中 是 X, 的 均值 函数 , 它 可 以 用 多 项 式 、 指 数 函 数 、 对 数 函 数 
等 措 述 ;Y, 为 零 均值 平稳 时 间 访 列 , 可 用 ARMA (p,q) 模 型 拟 合 . 
处 理 这 类 问题 的 方法 是 通过 某 些 处 理 ,剔除 Am 的 变化 趋势 ;或 者 
是 具体 求 出 请 的 拟 合 形式 . 
31.4. 1 ARIMA(P,d 9) 模型 的 预报 

设 {Z,,tET} 为 满足 ARIMA (p,qd,q) 非 平稳 时 间 序 列 : 

pCBY CL — BYZ, = 0(B)s,, 
z 步 预 报 为 
ZU = For Zi 十 Des > 0 

式 中 也 这 ,二 XX,, (>d) ,XX, 是 平稳 ARMALp;q) 序 列 


车 d==1， 
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上 
Zl) Zit DB), > 0. (31. 24) 


J 三 ] 


若 & 一 2， 
BD = RT DU DED, 


J=1 


> 0. (31. 25) 
31. 4.2 AREMA (pp,d,9) X (CP,D,0) 模 型 的 预报 


没 {2.,tE7T} 满 中 乘积 型 季节 模型 (23.10. 2),D>0. 记 
X, 一 VV?Z,, 
则 XX, 为 ARMA(Cp 序列 ,和 0) 满足 预报 差分 方程 (31. 2. 5) ,而 
(31. 9) 是 此 方程 的 解 , 记 
PB) = VV IEAB). 
由 于 世人 具有 线性 性 质 ,所 以 
RA = TATAD), k>d+D, li0, (31.26) 
其 中 站 固定 , 算 子 了 .YY, 都 作用 在 ! 上 ,于 是 当 &>>d 十 已 时 ， 
HZ 一 0， Lg. (31. 27》 
这 个 差分 方程 的 通 解 形式 为 
pli+Ds 


BD= YAD, I>g+ (ptadat+Dxs) 


(31. 28) 
其 中 (DU 入 pp 十 4 二 DXs) 是 (31. 28) 的 p 十 4 十 Ds 个 线性 无 
美 解 . 它们 可 以 表示 为 ? 的 指数 函数 , 究 函 数 或 三 角 销 数 的 乘积 形 
式 .5 可 由 初 值 人 (9) ,9 一 1)1-… ;Zi(9 一 户 一 9 一 Ds 十 1 确定 ， 
将 其 代入 (31. 28) ,所 得 邯 为 之 的 预报 郴 数 . 
车 号 二 0, 则 (31.28) 为 
二 Sr.), 


了 一 | 


iq— (pt a). 《31. 29) 
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若 一 0,D-0, 则 六 (只 翻 (31. 29) 式 中 的 多 项 式 部 分 . 
31.4.3 组 合 模型 


设 {X,,tETI 满 是 (31.23) 式 
X= 二 YY， 

上 为 序列 的 确定 性 部 分 ,了 , 为 零 均 值 平 伤 随机 过 程 ,用 ARMA 
(pq9}) 拟 合 . 用 这 两 部 分 登 合 起 来 共同 描述 XX,, 称 为 组 合 模型 . 疡 
的 表达 形式 可 以 为 : 

(]}) 线性 趋势 (linear trend ) 

先 用 统计 方法 拟 合 回归 直线 ,再 对 残 差 建立 ARMA(P,9) 模 
型 ,最 后 把 分 别 估计 得 到 的 两 部 分 参数 作为 初 值 ,用 非 线性 最 小 - - 
乘 估计 出 组 合 模型 参数 . 然后 进行 预报 . 

C2) 指数 趋势 (exponenrial trend 7 


X, 一 >4 es 十 YY， (31. 30) 
其 中 名 ,A 为 实数 ,{ 了 为 ARMA 序列 ,预报 为 
XD) = = Dae + YD i>1. (31. 31) 


C3) 周期 趋势 (pexicdic trend) 
如 果 序 列 本 身 不 仅 含有 指数 增长 或 衰减 趋势 ,而 且 还 显示 出 
一 定 规律 的 周期 性 起 伏 ， 则 互 可 用 如 下 模型 


XX, 一 Re 十 ae ‘sin( jot 十 Bi) + Y,, (31. 32) 


其 中 {Y,} 是 ARMA(， 由 序列 ， 工 为 序列 中 售 有 的 指数 趋势 项 数 ， 
天 相应 于 辕 期 趋势 项 数 , 民 ,r; 为 实数 (二 1, 工 ). w 为 基 频 ,单位 为 
弧度 / 秒 ,B; 和 由 分别 表示 周期 性 趋向 的 振幅 和 相位 ,e* 控 制 周 
期 项 的 增长 或 岩 减 .| 于 全 计 y; 困难 ,因此 将 (31. 32) 改 写 为 


= Dae 十 Da sin( je) 十 Vi—e — cicost jot) ] 
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十 世 ， 《31. 33) 
其 中 c 一 cos 多 ,用 非 线 性 最 小 二 乘法 估计 出 未 知 参 数 后 ,把 确定 
性 部 分 的 预报 值 与 ARMACza) 序 列 的 预报 值 相 杰 加 ,使 得 到 驱 
察 序列 14XET 的 预报 但， 


31.5 时 间 序 列 的 频 域 预报 


设 1ET 是 离散 时 间 正 则 过 程 Cregular process),/(4) 一 
去 lwCe 1 旦 它 的 谱 密 度 . X, = | edgGa) 是 它 的 谱 表现 ,而 


上 


一 六 ce 一 5.(s) 是 它 的 滑动 和 过 程 形式 ,其 中 了) le 


定理 31. 5.1 设 平稳 询 怀 GE 有 前 述 谱 密 度 , 则 根据 观察 
51 对 于 Xi,T>0 的 值 提前 + 时 的 最 优 线性 预报 为 


网 Tt _ Re ny 
部 2 一 上 i jd CO) 
tr e gle a 


其 中 ge) 一 Slelde rw glen) 一 Dee 六 
预报 误差 


-1 


:= EIX,, ~ (r= Se 


1 
= 2rexp| 去 | 。 lnf ydal 过 |， 
其 中 ,决定 于 关系 式 


exp | | vinf Wa)= Pax, (31. 34) 
特别 
1 一 2r exp | 去 | inf Cd2|， (31, 35) 
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即 轩 是 谱 窗 度 ( 连 续 ) 的 几何 均值 . 

例 31.5.2 设 {XivtET} 是 广义 马尔 可 类 过 程 ( 即 AR《1) 过 
程 》, 它 的 相关 琐 数 为 B(D) 一 aze ay>0, 其 中 了 一 10, 士 1, 士 2， 
… 小 谱 密度 


1 ee 
fA) = Dr Te P=e". 
提前 时 间 = 的 最 优 线性 预报 为 


发 ,(z)] 一 | ee ed = eX,, 
其 中 (0) 是 对 应 于 过 程 {X,,t€ 人 丁 } 的 谱 过 程 . 预报 误差 为 
r= ot{(l — ee "). 
定理 31. 5.1 可 扩展 到 一 般 有 理 谱 密度 的 情形 , 即 
fl) 一 去 | ee Dine", ep 
(31. 36) 

的 情形 , 下 一 定理 对 另 一 种 形式 的 谱 密度 ,给 出 预报 结论 ,. 为 叙述 
简洁 , 设 :=0. 

定理 31.$.3 设 Xess0 是 平稳 列 , 其 谱 密 度 为 

FFCA) = f° (Ce")， 

Bo 
A, 


， 
/Tc 一 GD ~ az) | ee, 
f=] 
其 中 0 之 la 三 1,0 达 15| 达 1， 
当 p 守 9 时 ,确定 一 个 p 一 1 次 多项式 @(z), 使 


ze #6) — Q(z), 
点 二 1 


以 GE 一 12 为 根 ， 
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f'(z) = 


| TTe — b(tl CO— bz) 
k=1 


当 pP<g 时 ,确定 一 个 3 一 1 次 多 项 式 久 (=) ,使 
zrJT es — A CO— Qe). 
以 有 一 1 为 根 并 有 8 一 疡 个 索 根 , 令 


(Qe f [2 [Ff 《2 一 包 ) ]， 户 蓉 9 
到 | 


BD. (2) -| , 
Qcz)/T[ ce — 6). p<g. 
则 最 优 预 报 
XT) = 上 .Ce dt. 
若 记 预测 误差 为 四, 则 
limee 一 下 FVdA = ROY, 
例 31.5.4 设 平稳 列 X(5),sET 有 谱 密 度 了 (4) 二 c |e* 
一 上 | ,0 过 |5| 过 1 求 最 优 预报 总 or)， 
解 ”由 谱 密 度 式 知 2 一 0,9 一 1(> 记 ), 故 为 MA(1) 模 型 , 且 复 
冰 数 (2) 一 ctz 一 Bb)(1 一 bz)zx- ,因此 应 提 g 一 1 一 0 阶 多 项 式 
个 (zx) : 即 澡 数 we, 俩 天 (z 一 站 一 a 以 z= 二 0 为 根 . 令 r=0, 由 zz"(zx 一 上 ) 
|:- 1 一 8 二 0 得 a 二 一 .项 


Be b/s b= De), lz| > 1. 


由本 让 


六,(T) 一 | Be dca) 
-一 站 eedgCA) 
= 一生 


= SX A). 


是 号 
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rm0 时 ,= 一 (z 一 分 一 xa 一 0 要 有 有 零 根 , 只 有 ge 一 0. 从 而 更 -4z)s 关 0, 故 
Xi(r)=0. 这 -事实 .与 MA(1) 一 步 截 尾 性 相合 : 间 跑 两 步 以 上 的 
随机 变量 间 是 无 关 的 . 

本 段 介绍 的 频 球 预报 , 才 是 在 谱 密度 已 知 条 件 下 作出 的 ,这 些 
方法 归功 于 雅 格 花 (ritoM). 


31.6 滤波 


31.5.1 5| 言 


设 时 刻 1E TCT, 观 察 过 程 为 
A = SE) + Dt), 

它 是 有 用 信号 $0) 与 噪声 8C) 之 和 ,其 中 (SC2),t€7T') 是 于 稳 且 
不 相关 过 程 . 要 求 把 噪声 8(7) 汝 出 ,提取 34 , 即 找 出 一 个 依赖 于 
过 程 {XX(f) ,tTo; 的 活活 

YOU) = gE Tt ET 使 

ENSCE YY — Yo OF ENSG) — YG De € To 

31. 37) 


其 中 说 (4' ) 是 依赖 于 {X00) ,ztET,} 的 任意 泛 酉 ， 

称 (31, 37) 左 侧 期 望 值 为 滤波 误差 filter error). 

在 20 世 纪 40 年 代 , 科 尔 莫 万 罗 夫 、 克 革 因 和 维 纳 等 人 做 了 大 量 
工作 并 了 服 得 了 许多 重要 成 果 . 其 理论 和 应 用 在 控制 和 通讯 等 技术 
领域 中 爱 到 重视 , 但 是 ,作为 将 号 估计 的 维 纳 滤波 是 基于 对 线性 系 
统 受 平稳 噪声 干扰 的 频 域 分 析 ,计算 比较 复杂 ,不 便于 实时 处 理 ， 
因而 应 用 范围 受到 了 很 大 限制 , 家 到 60 年 代 初 ,由 卡尔 曼 提出 了 最 
仿 线 性 递 推 滤波 ioptimum linear recursive filtering) 工 卡尔 曼 沪 
波 , 它 由 一 套 递 推 关 系 趟 构成 ,便于 用 计算 机 在 线 实 时 计算 . 同时 
把 应 用 范围 扩展 到 非 平稳 咯 声 干扰 的 线性 时 变 系 统 , 基 本 上 区 服 
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了 维 纳 滤波 的 上 述 几 个 主要 缺点 .因此 得 到 了 广泛 的 应 用 . 
31. 6.2 线性 系统 的 卡尔 星 滤 波 


设 线性 离散 随机 系统 为 
{X(t 二 1 一 6 十 世人 十 1)， 
二 
其 中 义 (2) ER", 是 系统 的 状态 ,Y (1) EER" 是 系统 的 输出 ,46CoC 
() 是 适当 维 数 的 矩阵 ,E00 ,800),tETsi 分 别 是 维和 sm 维 白 噪 
卢 过 程 . 设 上 时刻 有 量 测 数据 集合 
YACOYOO YE ,THD), teET, (31.39) 
要 讨论 的 问题 是 利用 了 去 售 计 X(2). 
公式 31. .1 基本 卡尔 坚 滤 波 方 程 ” 设 线性 系统 如 (31. 38) 
所 示 ,并 假设 16( 间 170) 相互 独立 ,及 
1 一 DR 站 十 1 十 2 有 人 站 
家 人 DR 二 有 十 1 
初 态 飞人 5 ) 与 噪声 独立 , 昌 
Kt (0 (31. 41} 
皂 么 对 估计 误差 的 任意 容许 损失 函数 ,基于 z(t) 一 Y' 一 [Y(t0)， 


te (31.38) 


31. 40) 


YY 十 YT 对 状态 革 呈 ) 的 最 小 均 方 误差 估计 满足 如 
下 递 推 方程 : 
RE = ARG + KG YG+ 1) 


一 CG 十 1740 ], (31. 42) 
(Rl) = E{XG))} + KGYTYG) — CGOVECX(YY]. 
其 中 站 人 站 和 XO |z00) ,zz(6) 二 了 G0) ,KG 十 1) 是 卡尔 晕 
滤波 增益 阵 , 满 足 
人 十 1) 二 [ACEGIDATD) + RC 1)] 
| "CT CC CAGEGINAT)Y (31.43) 
+ Rt CG + R17 
Klt) = PGANCTUAITCOIPGAYNC CE) + Retn)] 
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这 里 2 |) 全 {六 (2) 一 站 CLXG) 一 其 (tJ")}, 邯 佑 计 误 
差 的 协 方差 阵 ,满足 
[EC 十 1 十 划一 [ 克 一 天 人 十 1CG 1)] 
| ‘TACOECGIIATG) + RG 1)] (31.44) 
lz, lo = LE, KOGANCC) Ptio) 
其 中 工 表示 ” 阶 单位 和 矩 阵 . 若 总 人 十 1 六) 为 基本 变量 , 则 递 推 公 
式 为 
RE 二 11) = AG)RGl Co 1) + KYG) — C0) 
| (lt — 1， (31. 45》 
Rllts — 1) = E(XGN}Y = Ro). 
KC = ACGIZEGN — DOTUOTCOOS | — CT) 
十 R(t)] 1!. (31. 46) 
其 中 Et]t 一 1) 是 预报 误差 的 协 方差 峰 ,满足 
E+ 11) = [A — KE* CO EC — VAT) 
| 十 RiCt 二 1)， 《31. 47) 
Zio — 1 = cov HRI) = Py). 


31. 5. 3 有 平稳 噪声 干扰 时 线性 定常 系统 稳 灾 滤 波 


考虑 线性 定常 系统 
公式 31. 6. 2 
XC 1) = AX + Ey 
Yl) = CX) I0) 
假设 E00 ~N (04RD1NG) 一 NC01Rs) 为 相互 独立 的 高 斯 白 噪 声 
过 程 ,4,C,R,,R, 均 为 常数 阵 ,其 它 假 设 与 基 林 卡尔 曼 滤 波 和 相隔 . 
由 《31. 46) 知 ,(31. 47) 的 一 步 握 前 预报 误差 的 协 方差 阵 满足 
Z(t 二 11 =A[ECG|t 1) ~— £1 1) 
CCEG Oo DOT + RJ] CE — 1)1]AT 
十 Rt 之. (31.48) 
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定 光 31. 6.3 如 果 存 在 一 个 上 阶 方 阵 王 是 (31. 48) 的 解 , 则 称 
此 卡尔 曼 滤 波 髓 是 定常 的 (deterministic); 如 果 Zt1z 一 1) 一 
2, 则 称 此 卡尔 总 滤波 只 是 法 近 定 常 的 (asymptotically 
deterministic ». 

如 此 滤波 器 十 定常 的 , 则 预报 的 卡尔 曼 增 益 阵 也 是 常 阵 ， 

K’ = AZCT ~— ICECT + R,]. (31. 49) 

定理 31. 6.4 对 于 有 平稳 又 周 十 扰 的 线性 定常 系统 ,如 果 该 
系统 是 渐 近 稳定 的 ,对 于 初 态 的 任意 协 方 差 阵 , 卡 尔 最 滤波 器 的 -… 
步 提 前 凑 报 的 误差 协 方差 阵 王 (一 1) 收敛 于 一 个 常 阵 了 .满足 
代数 里 卡 蒂 (Riccati) 方程 : 

£E= ALS — ZCTCECT + RCEIAT + R, (3].50) 
而 且 滤 波 器 本 身 是 渐 近 稳定 的 ,如 果 该 线性 系统 不 是 渐 近 稳定 的 ， 
但 只 要 [4 ,Cj 是 能 观测 的 , 且 RR 一 GGT 定义 的 如 与 4 和 冤 成 一 个 完 
全 能 稳定 对 , 则 滤波 器 本 身 是 潮 近 稳定 的 ,而 旦 Elz 一 1) 收 仑 
于 互 

例 31. 6.5 a-8-Y 滤波 器 设 对 连续 时 间 信 和 号 Sb ,和 作 周期 
为 生 的 采样 , 当 4 很 小 时 ,有 近似 

SC 二 DAY 一 SEA) = AS'CA) 十 今 Sa)， 


令 GE) 一 (9S(Ea4)S' Ck) SEA))T, 风 加 速度 受 随 机 干扰 时 ， 
有 状态 方程 

TE 十 1) = Ar(k) + getk), 
其 中 = 一 (0,0,.1) 2) 为 高 斯 白 噪 声 , 服 从 N (0,7?),A 一 


Geo)sssvas 一 las 一 aa 一 4Avan 一 今 ,其 余 全 为 0. 量 测 

YER) Oo Creg} + RY, 
(二 也 为 高 斯 白 曲 声 ,服从 N00,7), 目 与 仿 人 ) 独 立 , 于 是 有 定 
常 奈 统 (31. 6.2), 令 
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BklE— 1) = cov(r) — ztklk — Dr(h) — zh 1)), 
由 由 《31. 42)、《31. 43) ,增益 与 滤波 公式 为 


E(kIE Ceo 1)} 
天 (YE 一 | 三 (下 | 下 一 | CSIE Cm 1) + 71, 


RE 1) 

TRIE) = To— KEICIATCR — 1|E— 1) + KO) YG). 
初始 时 刻 如 一 一 时 , 波 波 器 进入 稳 态 ,于 是 令 美 一 (ay8,7)7 则 
XEIE) 一 Brg — 1 m1) + Ky(k), 

其 中 
各 《1 一 Oa G 一 四 写 
[一 B 1 一 8 (~— B42)4 
[7y 一 ya 1— Ya/? 
此 即 a-8-7 滤波 器 . 设 由 (31. 50) 解 得 王 则 
KE= (BZ ) /DB, + Ya). 


由 一 
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32 排队 论 
32.1 引言 


32.1.1 排队 问题 的 例子 


在 公共 服务 事业 的 许多 部 门 如 商店 .医院 .银行 和 公共 汽车 
站 都 存在 排队 现象 , 在 商店 中 顾客 陆续 到 来 ,营业 员 逐 个 接待 每 
个 顾客 ,在 顾客 人 数 较 才 时 就 要 排队 等 待 ,这 样 顾客 和 普 业 员 构 
成 了 一 个 排队 系统 (queueing system). 在 系统 中 的 顾客 数 描述 
了 系统 的 状态 . 随 着 时 间 的 推移 ,一 些 顾客 得 到 服务 后 离 去 了 ， 
义 有 一 些 新 的 笑 客 到 来 ,所 以 排 队 系 统 是 随时 间 变 化 的 动态 系 
统 . 顾客 到 来 的 时 间 有 随机 性 ,对 顾客 的 服务 时 间 也 有 随机 性 ， 
因此 研究 排队 问题 自然 会 使 用 随机 过 程 的 工具 ,所 以 排队 
论 也 称 为 排队 过 程 Cqueueing process), 在 排队 模型 中 服务 是 
一 个 重要 因素 , 候 此 排队 论 也 称 为 随机 服务 双 统 (stochatic service 
SySterm). 

在 排队 论 中 的 术语 顾客 (cusromer) ,服务 员 iserver) 其 含义 可 
以 基 各 式 各 样 的. 例如 在 医院 门诊 部 前 就 诊 的 患者 就 是 顾客 ,应 诊 
的 医生 就 是 服务 员 . 在 生产 车 间 的 一 道 工 序 上 , 待 如 工 的 工件 就 是 
顾客 ,加工 设备 或 操作 工人 就 是 了 服务员. 再 如 ,港口 的 装 秃 设施 作 
为 服务 员 ,那么 到 港 装 货 或 缉 货 的 轮船 就 是 顾客 . 排队 论 有 广泛 的 
应 用 . 


32.1.2 排队 模型 的 三 要 素 


每 个 排队 系统 都 是 由 以 下 三 个 基本 归案 结合 而 成 . 
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《1) 输 人 过 程 (input process) 或 到 达 过 程 {arrival process). 
指 顾客 到 来 时 间 的 规律 ,通常 用 到 达 间 隔 时 间 来 描述 . 设 第 n 个 到 
来 的 顾客 是 在 时 刻 i, 到 来 的 , 令 ;一 1641 一 (约定 三 二 0), 15) 是 
到 达 癌 隔 时 间 序 列 . 通常 假定 {3.} 是 独立 同 分 布 的 随机 变量 . 

芒 () 表 示 在 区 间 (0,) 内 到 来 的 顾客 数 , 随 机 过 程 i{X (2) ,1 宇 
0} 叫 做 排队 系统 的 输入 过 程 . 可 以 证 明 , 间 隔 时 间 独 立 辣 分 布 是 为 
指数 分 布 等 价 于 革 (2) 是 泊 松 过 程 , 芭 XG) 有 独立 平稳 增 胡 ,并 且 


Ey 
PXG+TD XH) 一 下 ) 一 天 全 0A 人 0 


另外 ,顾客 可 以 是 单个 到 这 也 可 以 是 成 批 到 达 , 而 每 批 的 顾客 
数 可 以 是 固定 的 也 可 以 是 随机 的 . 

《2) 服务 机 构 (service mechanism). 服务 员 可 以 是 一 个 或 多 
个 . 对 各 个 顾客 的 服务 时 间 通 常 假定 是 独立 同 分 布 的 随机 变量 ,对 
顾客 也 可 以 成 批 进行 服务 . 以 上 所 说 是 指 一 个 服务 站 的 情形 . 另外 
也 可 以 由 多 个 服务 站 构成 网 络 , 顾 突 按 一 定 规则 接受 几 个 站 的 
服务 . 

《3) 排队 规则 (queue discipline). 有 多 种 型 式 的 排队 规则 . 当 
一 个 顾客 到 来 时 服务 员 均 不 空 闪 ,此 顾客 就 排队 等 待 一 直到 得 到 
服务 后 离 去 ,这 称 为 等 待 制 (waiting system). 反之 当 一 个 顾客 到 
来 时 服务 员 均 不 室 闲 ,此 顾客 立即 离 去 不 再 到 来 ,这 称 为 损失 制 
《loss system), 介 王 等 待 制 与 损失 制 之 间 的 是 限制 队长 的 排队 
(system limiting queue size), 即 先 规 定 一 个 正 数 闫 ,顾客 到 来 时 
如 果 系 统 中 的 顾客 数 不 足 六 个 他 便 加 入 系统 ,和 否则 便 离 去 不 再 
来 . 服务 员 在 服务 完 -- 个 顾客 后 如 果 系 统 中 有 顾客 在 等 待 , 服 务 员 
便 控 一 定 的 规则 从 中 选 定 一 个 顾客 开始 对 他 服务 , 选 定 的 规则 有 : 
上 先 到 先 服务 Cfirst-come-first-served ), 后 到 先 服务 (last-come- 
first-served) ,随机 地 痢 定 (service in random order} 和 按 某 种 优先 
规则 (service according to priority). 
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32.1.3 排队 系统 主要 数量 指标 


排队 论 主要 研究 排队 系统 的 三 个 主要 数量 指标 :等 待 时 间 , 忙 
期 和 队长 ， 

(1) 等 待 时 间 (waiting time) 指 顾 客 自 到 来 至 他 开始 接受 
服务 这 段 时 间 . 在 实际 问题 中 顾客 总 是 希望 等 待 时 间 尽 可 能 少 ,等 
待 时 间 的 长 短 是 服务 质 基 的 一 个 方面 . 

(2) 忙 期 (busy periody 忙 期 指 服务 员 由 空闲 转 为 开始 工作 
到 下 一 次 出 现 空 闪 这 段 时 间 . 忙 期 友 映 了 服务 员工 作 的 劳累 程度 . 

(3) 队长 (queue length) 指 系统 中 的 顾客 数 , 包 括 正 在 服务 
的 和 排队 等 等 的 , 队长 是 排队 系统 的 一 个 很 直观 的 指标 , 它 和 等 待 
时 间 、 忙 期 都 有 联系 . 

排队 论 研究 这 几 个 主要 指标 ,力图 把 它们 的 概率 分 布 解析 地 
表示 出 来 . 任意 时 刻 的 队长 分 布 .第 个 顾客 的 等 待 时 间 分 布 ,第 
zz 个 忙 期 分 布 ,这 些 称 为 排队 系统 的 瞬时 解 . 当时 间 参 数 趋向 无 穷 
时 这 些 指标 的 极限 分 布 , 称 为 排队 系统 的 稳 态 解 . 求 隆 时 解 比 求 稳 
态 解 要 困难 得 多 ,瞬时 解 的 表达 式 也 复杂 得 多 . 但 从 实际 应 用 的 角 
度 看 , 稳 态 解 似 乎 是 更 重要 的 ， 


32.1.4 排队 论 模 型 的 记号 


这 种 记号 由 三 个 符 导 组 成 ,中 间 用 两 个 斜 杠 "/ "分隔 开 . 例如 
MAG71 代表 一 -种 排队 模型 . 其 中 第 一 个 符号 表示 顾客 到 来 间隔 时 
间 的 分 布 交 型 ,第 二 个 符号 表示 服务 时 间 分 布 类 型 , 具体 规定 是 : 
对 代表 指数 分 布 ,PP 代表 定常 分 布 ,G 代表 一 般 分 布 ,E; 代表 皇 阶 
埃 尔 度 (Erlang) 分 布 ,PH 代表 位 相 型 (phase type) 分 布 . 第 三 个 
符号 是 一 个 正 整数 ,代表 服务 员 个 数 , 这 样 M/G/i 排队 的 意思 
是 ,其 模型 中 顾客 到 来 间隔 时 间 服 从 指数 分 布 ,对 颗 客 的 服务 时 间 
服从 任意 给 定 的 分 布 , 服 务 站 只 有 一 个 服务 员 ， 
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32. 2 ” 生 灭 过 程 排队 模型 


32.2.1 生 灭 过 程 的 一 个 极限 定理 
设 {N(G) ,ft 这 0} 是 齐 次 生 灭 过 程 , 则 其 矩阵 具有 以 下 形式 


一 4 加 0 0 0 - 
1 一 涪 一 向 A 0 0 
= 0 Hz 一 入 一 As A 0 
0 £3 一 由 一 各 入 
A 0 > 0, (32,1) 


此 外 ,我 们 假定 彼 阵 Q 是 有 界 的 , 即 存 在 正 数 C 对 一 切 ; 均 有 
PE 
考虑 关于 (xzoyziyzay) 的 下 列 方程 组 . 
dro 一 Pit， 
fe + FT; = hd ii 
取 z 一 1 ,得 到 方程 组 的 一 组 解 ， 


f 裕 《32. 27 


守 i 1 过 一 1. 
PP 
构成 级 数 
1 
2 i 之 PR ” {32. 3) 
该 级 数 可 能 收 合 也 可 能 发 散 


定理 32.2.1 设 生 炎 过 程 的 密度 和 矩阵 作 是 有 界 的 , 则 极限 
limPCN(t) 二 让 一 zj,j 之 0 存在 并 且 与 初始 分 布 无 关 . 此 外 还 有 
(1) 车 级 数 (32. 3) 发 散 , 则 一 切 zj 二 0, 方 程 组 (32.2) 不 存在 
概率 分 布 解 , 生 灭 过 程 NC#) 不 存在 平稳 分 布 . 
(2) 苦 级 数 (32, 3) 收 化 , 则 一 切 之 0, (royryz…) 是 方程 
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组 (32. 2) 的 惟一 概率 分 布 解 , 而 及 是 过 程 六 (所 的 惟一 平稳 分 布 . 
此 外 还 有 


全 AAA (32 4) 
i | ~ 
TO 六 1 
| ’ A ? ? 


此 时 生 有 灭 过 程 N ( 妃 是 正常 返 日 遍历 的 ,区 天 之 0 为 过 程 N (5 的 
稳 态 概率 . 


32.2.2 好 /MAf7/1 排队 系统 


MAM/1 排队 是 单个 服务 员 的 排队 系统 ,顾客 到 来 间隔 时 间 
服从 参数 为 4 的 指数 分 布 ,服务 时 间 服 从 参数 为 py 的 指数 分 布 , 且 
有 隐 舍 假定 ;顾客 间隔 到 来 时 间 是 独立 间 分 布 的 ,服务 时 间 也 是 狂 
立 同 分 布 的 并 且 独 立 于 和 输入 过 程 ,排队 规则 是 等 待 制 的 . 今后 把 这 
些 隐 合 假定 作为 是 不 言 而 喻 的 ,不 再 特别 申明 . 

在 时 刻 : 系统 中 的 顾客 数 记 为 NG), 由 于 指数 分 布 的 无 后 效 
性 ,NN ( 罗 是 齐 次 可 列 马 尔 可 夫 链 ,转移 概率 Pi,(2) 二 PON (十 s) 王 
ING) 二 让 yi,j 宇 0. 对 充分 小 的 Ar0 PR 一己 (在 08 时 间 
内 到 来 一 个 题 客 并 且 正 在 服务 的 尚未 服务 完 , 或 者 在 (0, 呈 内 到 来 
& 之 2 个 顾客 并 和 且 已 服务 完 一 1 个 顾客 ) 一 (1 一 e 7) 十 of 下 )》 一 征 
十 olfysi30 类似 的 有 

Pi th) = ph + ok, 之 1 

P(th) = oh), li—7| 守 1. 
由 以 上 各 式 可 立即 得 出 Ntz) 的 密度 矩阵 8: 将 (32.1) 中 尺 ,p 分 
别 易 为 4 号 

利用 (32. 1 容易 得 出 , 当 p== 和 六 1 时 NGe) 不 是 饮 历 的 . 此 时 
对 于 任意 正 整数 喜 均 有 
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上 
limP(NO EDS Di= 0. 


=0 


粗 赂 地 说 ,这 天 明 当 时 间 充 分 长 时 系统 中 顾客 充分 多 的 概率 接近 
于 1. 称 这 样 的 排队 系统 是 不 稳定 的 . 而 当 pe<i 时 入 (遍历 , 队 
长 过 程 No 的 稳 态 概率 由 (32. 4 立即 得 出 为 


spi. (32.5) 
在 稳定 状态 下 的 平均 队长 是 
Oe 万 
二 Sr 一 -2 《32. 6) 
2 


在 时 刻 t 系统 中 排队 等 待 的 顾客 数 记 为 N, (4)， 
NC(D) = max(N(i) — 1,0),， 


Nstt) 按 分 布 收敛 意义 下 的 极限 记 为 N,,; 则 


PN -= 《一 人 C32.7) 
1 
N, 的 数学 期 望 是 
六 二 SRPON,—A) 一 Ts (32. 8) 
Rel pe 


顾客 在 系统 的 停留 时 间 是 他 的 等 待 时 间 与 服务 时 间 之 和 . 在 
节 32, 5 我 们 将 说 明 第 个 顾客 的 等 待 时 间 与 停留 时 间 分 别 依 分 
布 收 伍 于 随机 变量 您 . 与 帘 ( 分 别称 为 在 稳定 状态 下 顾客 的 等 待 
时 间 与 停留 时 间 ). 

公式 32.2.2 廊 , 与 市 的 分 布 
— pp, f= 0, 
一 pe -Im 1 > 0, 
P(ElD)m1—e HH”, 10, 


PW, RA) = 
。 可 Ty 
E(W) = HT syEW) 


及 L= MW, LAW,. 
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~ 1 _. 
A Cop) 


32.2.3 其 它 生 灭 过 程 排队 系统 


1，M/M/n 排队 系统 
# 个 服务 员 的 排队 系统 ,顾客 到 来 间隔 时 间 服 从 参数 为 4 的 
指数 分 布 ,服务 时 间 服 从 参数 为 # 的 指数 分 布 . 仍 用 NG(1 表 示 卫 
长 过 程 ,这 也 基 一 个 生 刺 过程 ,P,(4) 丧 示 它 的 转移 概 兴 .对 充分 小 
的 站 0， 
Pp) 一 证 十 uh)，i 宇 0， 
mh minGponp) 十 op 721. 
于 是 作为 密度 和 矩阵 (32, 1) 式 中 的 入 ,yj 有 
A 0 k= minGnnpA) ,il1. 
根据 (32. 1), 易 见 当 日 仅 当 p< 过 ;<1 时 过 程 NC) 是 这 历 的 , 按 
(32, 4) 得 队长 过 程 的 稳 态 概 光 是 
“= [1 十 De Cp) 十 了- TS ， 


= 多 


Nn, 1 En 
Xt; 二 np kn 
ni 
在 稳定 状态 下 ,系统 的 平均 顾客 数 是 


1 《ap》 Cp) pintl— pp) 
r= Pin = [SD i + nl -py I 


2， 有限 源 排队 系统 
在 织 布 车 间 一 个 工人 看 管 上 人 台 自 动 织 布 机 . 当 机 器 发 生 故 障 
时 就 停 下 来 ,经 工人 修复 和 适当 处 置 后 再 开动 起 来 继续 工作 . 设 每 
台 机 器 能 正常 工作 的 持续 时 间 是 独立 同 分 布 的 ,服从 参数 为 4 的 
指数 分 布 ,工人 每 修复 一 台 机 器 所 需 时 间 也 是 独立 同 分 布 的 ,服从 
参数 为 x 的 指数 分 布 ,它们 还 独立 于 机 器 正常 工作 持续 时 间 , 把 
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正在 修复 与 等 待 修复 的 机 器 作为 顾客 ,把 工人 作为 服务 员 , 便 构 成 
一 个 排队 系统 , 顾客 得 到 服务 离 去 后 会 再 来 ,作为 顾客 源 的 只 是 这 
天 省 机 器 ,这 类 排队 系统 叫 有 限 源 排队 (finite-souree queue). 用 
No 表示 时 刻 上 系统 中 的 顾客 数 ,这 是 一 个 有 限 状态 生 灭 过 程 . 对 
充分 小 的 有 >0 

DP; Hh)= iO 二 oR)， 0 各 ?Tn 一 1， 

站) 一 十 op li 
因此 ,密度 短 阵 可 以 (x 一 站 4,p 分别 易 (32. 1) 中 风 : 得 到 ， 

有 限 状态 生 灭 过 程 总 是 遍历 的 , 稳 态 概率 x limP(N(G) 一 
i, 仍 按 (32. 4) 计 算 , 但 只 须 将 级 数 的 求 和 上 人 限 改 为 ,这样 得 出 
nz wei] 


7 一 站 


六 人 1 
m= (| i lhEn 


32.3 马尔 可 夫 链 排队 系统 


32. 3. 王 马 名 可 夫 链 的 一 个 极 跟 定理 


设 INCD,t 字 0} 是 齐 次 可 列 马尔 可 夫 链 ,有 标准 转移 矩阵, 假 
定 它 是 不 可 约 的 ,其 密度 矩阵 为 各 = [qj, 其 中 ,一 g; 一 和 > 


0. 还 假定 是 有 界 的 , 嗓 存 在 正 数 局 ,对 一 切 i 均 满 足 一 g; ,<C. 

定理 32. 3.1 对 于 马尔 可 去 链 N Go ,在 上 述 假 定 茶 件 下 , 极 
限 fimPCN CD 一 亡 一 后 720, 存 在 并 且 与 初始 分 布 无 关 , 此 外 还 有 
下 列 两 种 情况 之 一 成 立 ， 

(1) 一 切 x 二 0, 过 程 WO 不 存在 平 稿 分 布 . 

{2) 一 茹 由 人 0 下 (rr 是 Ci 唯一 的 平稳 分 布 ， 
并 且 它 是 稳 态 平衡 方程 
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DE 六 0 (32. 9) 
唯一 的 概率 分 布 解 . 此 时 入} 是 遍历 的 ， 
32. 3.2 成 批 服务 排队 系统 


考虑 一 个 服务 员 的 排队 系统 ,顾客 到 来 间隔 时 间 及 服务 时 间 
分 别 服 从 参数 为 4,p 的 指数 分 布 . 对 顾客 成 批 的 进行 服务 . 这 样 的 
成 批 服务 (bulk-service) 排 队 系统 其 简写 记号 是 MAMCO71, 通 党 
一 次 服务 > 个 顾客 ,在 服务 员 出 现 空闲 而 系统 中 有 顾客 但 少 于 * 
个 时 ,有 两 种 规则 ; 

(1) 服务 员 等 待 ,直到 来 齐 > 个 顾客 时 便 开 始 服务 . 

《2) 把 系统 中 现 有 的 顾客 作为 一 批 进行 服务 ,在 服务 过 程 中 
新 到 来 的 顾客 排队 等 待 . 

NO 表示 时 刻 上 的 队长 ,这 是 一 个 马尔 可 夫 链 . 可 以 证 明 对 上 
述 两 种 规则 当 且 仪 当 p= 让 <1 时 NN() 是 遍历 的 . 

先 讨论 第 (1) 种 规则 . 对 任意 小 的 有 >>0 

号 十 6 工 芝 0， 


Pk) = ph 二 ok), iFr, {32. 10) 
Pth) = olh), 其 它 二 兴工 
由 此 订 得 出 密度 阜 阵 Q. 


试 分 析 过 程 N (z) 的 一 个 样本 . 当 系 统 在 某 一 时 刻 处 于 状态 i 
时 , 下 一 次 发 生 转移 只 能 转移 到 i 或 i 一 r( 当 i 之 r 时) 参照 
(32. 10) 式 , 称 : 到 1 十 1 的 转移 率 是 4,i 到 i 一 r 的 转移 率 是 pg. 把 
系统 的 这 种 转移 关系 表示 为 一 个 有 向 图 ,以 状态 作为 结 点 ,直接 转 
移 关 系 表 示 为 一 个 有 向 避 , 在 弧 上 标 出 转移 率 , 这 种 图 叫 状态 转移 
率 图 (state-transition-rate diagranl)， 


成 批 服务 系统 的 状态 转移 率 图 (图 32. 1) 表 示 i 到 j 的 转移 率 
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图 32.1 


是 矩阵 [#0 中 的 元 素 gt A 元 素 册 ; 按 茶 件 4g 一 一 2 95 确定 . 这 


样 参照 转移 图 可 以 写 出 欠 阵 Q. 更 进一步 的 参照 转移 图 还 可 直接 

写 出 稳 态 概率 v 满 足 的 平衡 方程 (32. 9) ,其 规划 是 :第 个 方程 为 
2》) (% 到 j 的 转移 率 )m 二 240 到 上 的 转移 率 )m. 

对 于 我 们 的 排队 系统 , 按 此 规则 便 得 出 


Aro 一 HN 
| 一 和 十 pr 1 二 7 和 一 1， (32.11) 
{A 二 AT 一 A 十 pj jj 党 
定义 母 函数 Q(z) 二 >)meilz| 到 1, 将 (32. 11) 式 两 端 乘 以 二 ,对 

7 了 求 各 整理 后 得 
gl 一 #) Dx 
WAaer+) CA TF 人吉 二 
在 p 过 1 时 可 以 证 明 上 式 分 母 的 多 项 式 恰好 有 一 个 大 于 1 的 实 根 
zo+ 并 且 Q(z} 可 以 化 为 


Q(z) 一 ll1— 


Q(z) 一 


1 


之 a 


1: 三 | | Do) 
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将 | 1- 兰 ] 展开 为 冤 级 教 后 相 乘 ,再 对 照 Q(z) 的 定义 得 


mi 一 一 全 |， 0 过 ) 一 r， 
(32, 12) 
A 1 
i 一 站 (一 1D| 安 | 1 
在 稳定 状态 下 的 平均 队长 是 
Vem mQ Dl 二 (32. 13) 
k=1 En 1 2 


下 面 讨论 成 批 服 务 的 第 (2) 种 排队 规则 . 不 难得 出 系统 的 转移 
率 图 如 图 (32, 2). 参照 转移 率 图 得 出 稳 态 概率 x; 满足 的 方程 组 是 
hm 一 KE 十 如 十 …… 十 赤 )， 

(十 Dri 一 Ar 十 Pr jl1. 


图 32.2 
用 类 似 的 方法 得 到 组 函数 Q(z) 的 表达 式 为 


2 一 (4 十 户 )T02r 


SC) 一 二 TI 一 人 十 2 十 并 
_ 1 2 
(zo 一 2) {1 这 | 3. 
由 此 得 出 队长 的 稳 态 概率 
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“= [1 一 2 
在 稳 态 下 的 平均 队长 是 

Sm ti 
.32.3.3 E,/M/1 排队 对 统 


/ad/1 排队 系统 有 一 个 服务 员 ,服务 时 间 服 从 参数 为 上 的 
指数 分 布 ,顾客 到 达 间 同时 间 服 从 参数 为 的 > 阶 埃 尔 朗 分 布 , 分 
布 密度 是 


ACE 
人 二 Te ， 


熟知 ,r 个 独立 参数 为 4 的 指数 分 布 随机 变量 之 和 服从 上 述 埃 尔 
请 分 布 . 因此 一 个 埃 尔 朗 变 量 的 发 展 进 程 是 相连 接 的 r 个 指数 变 
基 进 程 之 和 . 每 实现 7 个 指数 变量 的 一 个 进程 我 们 视 为 到 来 -一 个 
显 客 . 而 服务 看 作 是 成 批 进行 的 ,每 批 + 个 ,排队 规则 胰 用 第 1 种 
形式 . 这 个 成 批 排队 系统 在 时 刻 1 的 队长 记 为 NC), 它 的 初始 分 
布 满足 条 件 : 若 /不 是 > 的 整 悦 数 则 忆 CVI0) 一 门 =0. 前 已 说 明 当 
Oo 一方 <1,NCD 迄 历 其 稳 态 概率 m 由 (32. 12) 给 出 . 

对 于 已 .AM71 排队 系统 ,在 时 刻 上 的 队长 为 XG), 于 是 有 X (0) 
= EVAr], 方 括号 表示 整数 部 分 , 记 美 (的 稳 态 概率 P; = 
limPCXCD 一) ,从 而 有 PP 二 C6 十 zy 十 十 mw)， 利 用 
(32. 12) 式 得 ; 


:2 0. 


P= 1—p, (32. 14) 
P= pai — 1)zr”", 丰裕] 


其 中 z 的 意义 同 前 . EA/M/1 排队 系统 在 稳 态 下 的 平均 队长 是 
Shp, 一 Fe: (32,15) 
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32.4 A 时 /G71 排队 系统 


32.4.1 族人 链 
AM/GV1 排队 系统 有 - -个 服务 员 ,对 各 跨 客 的 服务 时 间 是 独立 
同 分 布 的 随机 变量 ,其 分 布 函数 B(0) 已 知 ,服务 时 间 的 均值 为 过， 
方差 为 oz. 顾客 到 来 的 间隔 时 间 是 独立 同 分 布 的 ,服从 参数 为 1 的 
指数 分 布 ,服务 时 间 与 输入 过 程 独立 
假定 在 起 始 时 刻 := 0, 刚好 服务 完 一 个 是 寄 . 令 g, 表示 第 " 
个 被 服务 的 顾客 服务 完毕 离开 系统 的 瞬时 所 留 下 的 队长 .v, 表示 
在 为 第 n 个 顾客 服务 时 间 内 新 到 来 的 顾客 数 ,于 是 
yg 一] 十 Wii， 车 gq, 六 0， 
dt 人 车 @, 一 1 
容易 着 出 iv,} 是 一 列 独立 同 分 布 的 随机 变量 . 第 次 服务 时 间 记 
为 由 ;由 于 指数 分 布 的 无 后 效 性 ,om 只 与 的 大 小 有 关 而 与 起 点 
无 关 


Plv, = ku 一 上 一 2 人 
3 
Ct ondBet). 


axr = Plv, = kk} 一 | 
0- 


叉 可 看 出 Ue: 1 与 (god 日 "94) 独 立 . 所 以 {9 是 一 个 齐 深 马尔 可 
夫 链 , 称 它 为 这 个 排队 系统 的 谋 人 链 , 而 顾客 离开 系统 的 时 刻 叫 该 
人 点 . 转移 概率 B= Pg 一 了 ja.=D) ;对 此 有 


irl i J 十 1 字 1 字 1， 
P= Pei+1— = | | ’ 2 

0， 7 十 1 万: 且 i 空 1, 
Py = Pui 7) = j 守 0. 


转移 概率 矩阵 P 一 fP]J 具 有 以 下 形式 
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局 
”SS 
[a 

En 


L; “ "» “ ° 
是 见 忆 是 不 可 约 周 期 的 , 在 马尔 可 夫 链 理论 中 有 以 下 极限 定理 . 

定理 32, 4.1 对 于 不 可 约 非 周期 可 刻 马 尔 可 夫 链 ,P1 是 它 
的 n 步 转 称 概率 , 则 极限 

limP 一 各， 了 之 0 

存在 与 i 无 关 并 且 与 初始 分 布 无 关 , 此 外 还 育 以 下 两 种 情况 之 … 
成 立 

(1) 一 切 ,一 0, 杞 尔 可 去 链 不 存在 于 稳 分 布 . 

(2) 一 切 训 人 >0, (Cazoy 和 是 马尔 可 夫 链 的 唯 …… 平 稳 分 布 ,并 
且 是 稳 态 平衡 方程 组 


Dr, 一 Tis J 这 0 
= 


的 唯一 概率 分 布 解 . 此 时 马尔 可 夫 链 是 旬 历 的 . 
对 于 MAG/1 排队 系统 的 甬 入 链 {c,) ,可 以 证 明 , 当 且 仅 当 


2 一 亡 <<1 时 是 遍历 的 . 以 下 假设 < 1 ,我 们 来 研究 在 德 态 下 的 队 
长 和 等 待 时 间 . 
32.4.2 队长 


令 PP 二 Plgs 一 万 ,从 而 Pi 一 ZiPteo = 站 PP 由 定理 


32. 4.1 得 


limP” = wj jd 
则 入 (0) 表示 人 Cz) 全 Dwizt 在 z 一 0 的 上 和 院 导 数 . 
点 一 让 
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rr = 二 Qto， 上 六 0， 《32. 16) 
{Ao RL 下 谨 满 是 平衡 方程 组 , 即 


1+1 

ws i 
To 十 > TR 0 

下 二 | 


将 上 式 两 端 蒋 以 z’ ,对 j 相 如 整理 得 
Ano] — zf (2) 


-一 人 一， | 1， 


Q(z) 一 
fx) 
其 中 .ffz) 为 1ar} 的 母 函 数 , 令 z 一 1.: 对 上 式 肥 级 限 可 求 得 
mo 一 1 一 pp 代入 上 式 成 为 


fz) 
Qe) fz) gg LL] 


这 样 我 们 求 出 了 标 沙 数 Q(x) 的 表述 式 . 原则 上 说 ,利用 (32.16)， 
(32.17) 就 可 求 出 稳 态 概率 zi. 
在 稳 态 下 的 半 均 队长 工 寺 Spn, 二 QQ (1). 将 (32.16) 两 端 求 
导数 , 令 z 一 1. 取 极 限 得 
jd 十 os 


= lim Q(x) = p+ Hy 


{lz| < 1， 《32. 17) 


(32, 18) 


32. 4. 3 ”等 待 时 间 


和 分布 画 数 BGr) 的 拉 普 拉 斯 -斯 蒂 尔 切 斯 (1.apiace-Stieltjes) 襟 

挽 记 为 B*(;), 其 定义 是 
Bb (3) 一 | e“dB(r), :>0. 

假定 排队 规则 是 先 到 先 服 务 的 .可 以 证 明 , 在 p<l 的 条 件 下 ， 
第 ”个 顾客 的 等 待 时 间 仿 分布 收 黎 于 随机 变量 ww 一 一 这 是 稳定 状 
态 下 顾客 的 等 待 时 间 ,其 分 布 沐 数 记 为 W (zx). 

在 稳 态 下 的 队长 记 为 9 顾客 离开 时 刻 的 队长 是 在 这 个 磊 
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客 的 等 待 时 间 与 服务 时 间 内 到 来 的 顾客 数 ,而 同 …… 个 顾客 的 等 待 
时 间 与 服务 时 间 是 独立 的 ,所 以 有 


P(g = k) = 上 下 LA 2 eudW (rdBty). 
Q(z) 一 Pa 一 页)2 
大 站 


-上 fe TaorindW rdB iy) 


一 页” CAC 一 zB’ (a — 2)). 
将 此 式 同 (32. 17) 联 系 , 注 意 到 式 中 的 A(z) 就 是 8 GU 一 z)) ,并 
今 一 之 ,得 
s > 0， (32, 19) 


些 式 称 为 扑 控 切 克 - 幸 软 (Pollaczek-Nian 公式 . 邻 s 一 00 得 顾客 
不 要 等 待 的 概率 
Piw=0)— WO}=1—p, 
考 虚 稳 态 下 顾客 平均 等 待 时 间 ECww) 


Ec) = Dapg=b =| [rt yd)dBy) 
= ] dd 


= AE(w) + 6. 
联系 (32. 18) 式 得 
-Ar 
Elw) = 2MK1 一 5)° (32. 20) 
平均 服务 时 间 记 为 ECw)= 2, 于 是 
下 (se Bm? 
Ew) ar pl tho). (32, 21) 


这 个 指标 是 有 间 久 的 .版 客 为 得 到 一 定 的 服务 时 间 各 另外 下 
费 一 定 的 等 待 时 间 ,而 这 个 时 间 之 比 反 映 了 服务 效率 . 有 请 


小 ,表示 服务 效率 愈 高 . 
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32.5 G/M/1 排队 系统 


32, 5,1 内 长 

G/M71 排队 系统 有 一 个 服务 员 ,服务 时 间 是 独立 同 分 布 的 服 
从 参数 为 4 的 指数 分 布 .顾客 到 来 的 间隔 时 间 也 是 独立 同 分 布 的 ， 
分 布 函 数 为 4(z) ,均值 为 过， 服务 时 间 与 输入 过 程 独立 ， 

第 ”个 顾客 在 时 刻 nr 到 来 ,在 这 个 朋 癌 他 看 到 系统 中 的 顾 窗 
数 记 为 gw 表示 在 时 间 区 间 {z,,z,,1) 中 服 敌 员 实际 完成 的 服务 
次 数 , 于 是 有 

对 ae 二 一 Hn 十 ] 一 or 

在 已 知 他 > 的 茶 件 下 ,mm 与 (gg ye 独立 ,因而 144.) 是 马 
氏 链 . 

注 32.5,1 记号 


er 9 
bh =| SE emdAlz), A 0 
D_ 上 


二 
=1 一 5， 皮 尘 0. 


b&b 的 概率 意义 基 ; 在 一 次 到 来 时 间 间 隔 中 ,服务 员 不 间断 地 连续 工 
作 完 成 下 次 服务 的 租 率 ， 
bj 车 i 十 1] 之 j 安 0， 
PO 十 4 二 站 二 4r; J， 若 i 十 1 二 j 守 0， 
0, 车 7 之 0 或 j 半 i 十 1. 
记 一 步 转移 概率 P=P(qs-i 一 j 9, 二 门 , 则 得 
bi 若 i 十 1 宇 j 关 0， 
oe 若 j= 二 0， 《32. 22) 
0， 若 了 > 十 1， 
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可 以 证 明 , 当 日 仅 当 p= 人 <1 时 {gq,} 是 遍历 的 . 以 下 均 假 定 
ol. 
嵌入 链 o。 的 稳 态 概 率 ri 一 limP(e,= 六 满足 的 平衡 方程 是 


现 来 求 x;. 首先 令 

fx) 一 Db tr) Er) rTIEl, 
在 (0， DD 内 gr(z) C2) >0 8 (YX) 是 同 孙 数 . 又 g(0) 二 b>9， 
#0)=0,8(1) 一 万 一 1<0, 所 以 SCr) 在 (0,1) 内 有 唯一 的 零点 ， 
记 为 =。 


可 以 验证 稳 态 平衡 方程 的 解 是 
N= (1 0. (32. 23) 
在 肯 入 链 意 义 下 稳 态 时 ,系统 的 鬼 队 长 蚌 
Dar, 一 = 一 (32. 24) 


32.5.2 等待 时 间 


ws" 表示 第 个 到 来 顾客 的 等 待 时 间 , 在 ,一 0 时 wi”==0, 在 
已 知 9, 二 12>0 的 条 件 下 ws”? 是 连续 服务 i 个 顾客 花费 的 时 间 , 因 
而 服从 i 阶 埃 尔 朗 分 布 . 所 以 有 


tn) oF DT 
Plw"’ tlgr 一 1 一 ,人 一 人 dz, 


Pet ED) = DP tg = Pg =) + Pg, = 0), 
i=1 

limP rw" < 一 《1 一 zz | ce "tl dx 十 (1 一 zo) 

| ~ [ol] 


* 696 » 


= 1 et 0, 
在 稳定 状态 下 顾客 的 等 待 时 间 记 为 区 ,, 上 式 表 明 它 的 分 布 函 
数 是 


一 _ {1 一 zn, 一 站 
PR, EA 二 (32. 25) 
1 一 Rone 2 i, ft 0. 
0 
ECw,) 一 ZT zy 


症 稳 态 情况 下 ,顾客 在 系统 的 停留 时 间 为 名 = 二 z 十 wz, 其 中 te,v 
是 同一 个 顾客 的 等 待 时 间 与 服务 时 间 因 而 它们 是 独立 的 ,可 求 得 
Pow) = em ,0) (32. 26) 


| 
E(wW) -Ta 


特别 地 如 果 到 来 间隔 时 间 服 从 指数 分 布 ,那么 前 面 定 义 的 函 
数 A(z) 即 


x} = Dorr’ = 4 
则 一 中 


A FAO pr 
方程 f(x) 一 x 二 0 在 (00,1) 内 的 唯一 解 是 zu 一 
们 对 M/AMA1 排队 曾 提 到 的 结果 ， 


， 人 0 硅 工 所 1 
A 
万 一 P' 这 说 明了 我 
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33 可 靠 性 


Cd 
| 
je 
habs 
叫 


可 靠 性 是 系统 最 重要 的 指标 之 一 , 它 定 量 地 芭 映 系统 在 一 定 
的 工作 环境 下 ,一 定 的 时 间 内 完成 其 预定 功能 的 能 力 . 通常 用 寿命 
来 表示 系统 能 正常 工作 的 时 间 , 用 失效 或 故障 囊 示 系统 处 于 不 能 
正常 工作 的 状态 . 可 靠 性 理论 Creliability theory) 研 究 系 统 的 失效 
机 理 及 其 寿命 的 概率 规律 . 通过 这 种 研究 和 分 析 把 所 获 信 息 反 馈 
到 系统 的 设计 .制造 ,运行 .维修 和 管理 等 部 门 , 以 便 使 这 些 部 门 提 
出 措施 保证 系统 最 大 限度 地 完成 其 功能 . 

可 靠 性 数学 是 可 靠 性 理论 的 基础 之 一 . 它 通过 建立 数学 模型 ， 
对 寿命 数据 做 统计 分 析 , 以 及 在 各 种 资源 约束 下 对 系统 可 靠 性 进 
行 优化 等 方面 的 研究 ,为 提高 可 靠 性 提供 定量 依据 ， 


33. 2 可靠 性 数量 指标 


定义 33.2.1 记 系 统 的 寿命 为 区, 是 一 个 非 负 随机 变量 , 相 
应 的 分 布 函 数 为 (2) , 称 
PFO)=1— FG =PXR>t), tO. (33. ] ) 
为 可 车 度 函 数 (reliability function). 碧 (1) 为 条 统 在 时 刻 i 以 前 完 
成 其 预定 功能 的 概率 . 系统 的 平均 寿命 为 


p= EX= [re = | Far. (33. 2) 
站 J 


若 荆 有 相应 的 密度 函数 0), 则 失效 率 函 数 (failure rate 
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fanction7 定 交 为 
r= OF t20 | =0). (33.3) 
失效 率 函 数 的 慨 率 意义 为 
FA a POX Et tr > 4). 
即 ,rt 丰 表示 系统 到 :正常 时 的 条 件 失 效 密 度 . 失效 率 与 是 党 度 之 
间 有 如 下 关系 
FD 一 FlO)exp| 一 | -Godz ， 上 之 0 (33. 4) 


33. 3 ”常用 寿命 分 布 

本 有 段 用 XX 表示 寿命 ,FC() 及 /(4) 分 别 表示 分 布 及 密度 函数 ， 
Art) 表示 失效 率 函 数 . 
33. 3. 1 指数 分 布 


天 (一 一 et 一 ME 0 (33.5) 
X=0 为 参数 ， EX 一 二 ， VX) 一 十. 


产 人 一 4 一 COnst ， iF0. 
性 质 33. 3.1 指数 分 布 的 重要 人 性质: 无 记 所 性 ,Y x,y 守 0 
PXT y| ry 一 PXT 或 FCr+y) F(T CYy). 
定理 33. 3.2 正 随机 变革 有 指数 分 布 , 当 且 仪 当 多 上 县 有 
无 记忆 性 (33. 3, 1). 


33.3.2 韦 布 尔 分 布 


FO = 1 et , fy) = ABCA) Te , £0, 033.6) 
aA,8>0, 傅 数 4,8 分 别称 为 尺度 与 形状 一 数 ,82 二 1 时, 即 化 为 指数 
分 布 . 
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EX = TI1+ V(X) 一 让 (1 + 与 一 人 1 十 广 上 ， 


| 
这 里 TT(* ) 为 工 函 数 . 
rr 一 ABE 0 当 有 >1 时 ,9 递增 ;8<1 时 ,递减 ;8 二 1 时 为 
常数 . 

33.3.3 矿 分 布 丰 a,A;1) 

A = ee *, 1>0, (33. 7) 


Aa >0 参数 ,EX 于,V(X) 一 号 . 
当 ae1 时 ,rr 递增 :a<1] 时 ,递减 fa 一 时 ,rr 为 常数 ,化 
为 指数 分 布 . 


33. 3. 4 对 数 正 态 分 布 


f(t) 一 -ex 2 (logt | E>0. (33.8) 
00 一 上 0 之 p00 为 参数 . 
EX = eri¥®, 
VX) = es (er — 1). 
失效 率 r(G) 先 递增 然后 递减 . 


33- 3- 5 截 尾 正 访 分 布 


太一 exp {~ zi — A 


1 
ag On 
FE 0 人 0 一 co 所 天 < 拉 cp， 《33. 9) 
其 中 2a=@B(4),4== 顾 , 罗 () 为 NC0,1) 的 分 布 沙 数 . 

EX= p+ SHA VA = 和 一 人 484) — E94)), 
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其 中 gl 为 N00,1) 的 密度 函数 . 
失效 率 国 数 =( 轨 递增 . 


33.3.6 离散 型 寿命 分 布 


二 点 分 布 , 几 何 分 布 .二 项 分 布 . 负 二 项 分 布 . 泊 松 分 布 等 非 负 
离散 随机 变量 的 分 布 都 可 用 作者 命 分 布 . 


33.4 不 可 修复 系统 分 析 


本 段 中 苦 无 特别 声明 , 则 表明 系统 由 a 个 独立 元 件 组 成 ,元 件 
i 的 寿命 为 zx, 分 布 为 下 (1) ,i 一 1,*…*,n. 系统 的 寿命 为 芭 , 相 应 的 
分 布 为 已 人 )， 
33. 4. 1 ”串联 和 并 联系 统 
若 其 中 一 个 元 件 失效 就 引起 系统 失效 , 则 称 该 系统 为 串联 系 
统 . 此 时 ， 
X— minX, FO)= [I[F(W, t>0. 
车 所 有 元 件 失效 ,系统 才 失 效 , 则 称 该 系统 为 并 联系 统 . 此 时 ， 
X=maxX,, F(t) = []lF.W, 10. 


33. 4. 2 冷 备 系统 


当 z=0 时 某 元 件 开始 运行 ,其 余 元 件 冷 凡 备 ( 即 不 管 元 件 贮 
备 凶 多, 工作 时 其 寿命 与 新 的 一 样 ). 一 旦 该 元 件 失效 , 则 由 开关 瞬 
时 转换 到 贮备 件 . 系统 失效 发 生 在 开关 转换 失效 时 ,或 备件 用 
完 时 . 
设 开 关 使 用 一 次 成 功 的 概率 为 a, 且 各 次 使 用 互相 独立 . 记 六 
* 701 * 


为 开关 首次 失效 时 刻 , 则 
PN 一 A) 一 plg, 记 一 工 ,2 力 ， d 让 0, pp 士 过 一 1. 


™ 

着 一 > (约定 站 二 0, 当 大 泛 时 ). 
t=1 

Fl) = Deore pl, 1 0. 


其 中 x 为 卷 积 , 4x B() 一 | ,BG — wdAC), 
4 于 一 1 一 1， 
Cj 一 . 
Pp" !， 1 二 2. 
特别 当 芒 ; 同 参 数 4 的 指数 分 布 时 ， 


33. 4.3 热 备 系统 


所 谓 热 贮 备 是 指 在 贮备 过 程 中 元 件 可 能 失效 ,或 劣化 . 

为 简单 起 见 只 讨论 a 一 2 的 热 备 系统 .上 一 0 时 元 件 1 开始 运 
行 ,元 件 2 热 贮备 . 知 元 件 1 失效 时 元 件 2 未 失效 , 则 由 开关 转换 
使 元 件 2 立即 转 入 工作 . 否则 , 若 元 件 2 已 在 贮备 中 失效 , 则 系统 
就 失效 .假定 开关 转换 完全 可 靠 , 记 元 件 ; 的 工作 寿命 为 X,,i 一 1， 
2, 元 件 2 的 贮备 寿命 为 了 了。 则 系统 寿命 为 下 一 下 1 十 项 8 ;这 里 
Ta 为 4 的 了 示 性 函数 . 


33. 5 单调 关联 系统 


设 系统 由 有 个 元 件 组 成 ,记过 为 元 件 i 的 状态 .xz;= 二 1 或 0, 若 
元 件 正常 或 失效 . 记 x= (zz 为 元 件 的 状态 向 量 , 假定 系 
.702 。 


统 也 只 有 正常 与 失效 状态 ,其 状态 完全 由 元 件 的 状态 决定 . 用 红 2) 
记 系 统 状 态 . 再 记 (0,,x),(1;,x) 分 别 为 第 i 个 分 量 为 0 或 1 的 状 
乱 向 量 ,C，,,x) 为 第 i 个 分 量 的 任意 值 . 

定义 33. 5.1 26x) 称 作 一 个 = 阶 单调 关联 系统 (monotone 
coherent system), 若 

《1)7 xy :MW pr py). 

C2) YC) 本 qx0;, x) Gl; ,rr) 
这 里 x 所 }》 是 指 式 入 yi 二 1 


例 33. 5.2 串联 系统 次 x) 一 minx; 一 I 


并 联系 统 0 = mers —1— [0 a) 
-out-of-An(F) 系 统 ;系统 由 nn 个 元 件 组 成 ， 当下 或 个 以 上 元 件 失 
效 时 系统 失效 ， 
若 >) xz 一 天， 
FI) 一 i=1 
0， 其 它 . 
车 元 从 i 的 寿命 记 作 ;用 xi( 记 时 刻 上 元 件 ; 的 状态 ,下 上 
二 Cz (Ta(t)), 系统 在 时 刻 # 的 状态 用 gCXQ)) 记 , 则 系统 在 


i 正常 的 概率 为 
RU) = 已 (8 大人)) = 1} = Ep(X(E)). 


33. 6 网络 系 统 可 靠 度 计算 


网络 系统 是 由 一 些 节 点 及 弧 连 接 而 成 ,其 中 强 表 示 系 统 中 的 
元 件 , 市 点 表示 元 件 之 闻 的 关系 . 假定 节点 完全 可 靠 , 而 系统 及 弧 
只 有 正常 ,失效 两 种 状态 ,分 别 用 1,0 表示 . 进一步 设 弧 之 间 独 立 . 

网 络 可 靠 度 问 题 可 形象 地 描述 为 :设想 在 一 个 无 向 网 络 中 从 

"703. 


输入 节点 S 发 出 一 个 信息 ,通过 网 络 中 不 完全 可 靠 的 弧 的 传送 ， 
间 输 出 节点 + 接收 到 该 信息 的 概率 ( 即 网 络 可 靠 度 } 有 和 多大? 

现 设 网 络 5 由 x 茶 弛 组 成 ,用 xz; 记 第 i 条 强 的 状态 .X= (zxi， 
,XZ,) 为 弧 的 状态 向 晤 ,用 gkx} 表 示 网 络 的 状态 . 

定义 33.6.1 x 称 作 3S 的 一 条 路 向 量 (path vector), 若 pCx) 
二 1. 进一步 ,YY 了 之 x,p(9) 二 0, 则 称 x 是 最 小 路 向 量 (minimal 
path vector) ,这 里 x 过 y 表示 分 量 间 至 少 有 一 个 严格 不 等 导 成 立 . 
相应 的 ctx) 一 17;:zx; 二 1} 称 作 最 小 路 集 Cminima] path set) ,简称 
最 小 路 . 最 小 路 中 的 元 素 个 数 称 为 其 长 度 . 

+ 称 作 3 的 一 个 类 向 最 {cut vector), 若 p(x) 一 0. 进一步 ,W 》 
xx 一 1, 则 称 x 为 最 小 割 向 量 Cminimal cut vector). 相应 的 
cotx) 二 (7: 二 0} 称 作 最 小 荐 集 Cminimal cut set) ,简称 最 小 划 . 

按 定 多 最 小 路 是 一 些 张 的 下 标 集 ,同时 又 指 与 这 些 下 标 相应 
的 强 的 集合 . 若 记 5 的 所 有 最 小 路 为 41,… ,A 仍 用 4, 表示 第 i 
条 最 小 路 中 的 弧 都 正常 这 一 事件 ,于 是 


{系统 正常 } = (9x) = 1} = 二 员 4 


iC 


系统 的 可 千 度 为 R=Pigl(x}) 一 1}=P| Ua). 

相仿 ,车 S 的 所 有 最 小 割 为 B,,…,B, 则 {系统 失效 } 二 {glx) 
一 外 一 UB.R =1— PI Ua). 

因此 ,网 络 可 车 度 的 计算 归结 为 

(1) 求 出 所 有 最 小 路 ( 制 ) 4 4 

C2) 求 事件 并 的 概率 P( [4 


1. 求 所 有 最 小 路 的 方法 
定义 33.6.2 给 定 ! 个 节点 的 岗 络 ,定义 相应 的 邻接 矩阵 
(eonnection matrix) 人 二 (cj) ,其 中 
* ?D04* 


一 |" 着 节点 7 问 无 琶 直 接 相连 ， 
” lz, 若 节 点 i 经 过 弧 xz 可 直接 到 达 j. 
记 ei 为 节点 71 到 的 长 度 为 2 的 所 有 可 能 的 最 小 路 .cl 可 通 
过 和 卸 阵 “乘法 ?公式 得 到 : 
ca 一 了 ci "eas f= 11s, 


这 里 >, 表示 集合 的 并 ,，* 表示 交 ( 通 常 省 略 ). 并 且 约 定 右 端 要 利 
用 集合 运算 规则 进行 归并 , 且 只 保留 长 度 为 2 的 最 小 路 ， 

对 < 多 可 相仿 定义 并 依 > 递归 求 得 . 由 于 最 小 路 长 度 最 多 为 
/一 1, 因 此 车 记 输 入 ,输出 结 点 分 别 为 1,2, 则 结 点 1,2 间 的 所 有 最 
小 路 为 cari scls 了 


例 33.6.3 桥 形 网 络 一 桥 形 网 络 图 ,如 图 33. 1 


图 33.1 


定义 33. 6.4 邻接 第 阵 
0 0 Tl iy 
Ce 0 站 az , 


Tl To 站 Ts 


Ti XI Ts 0 


容易 得 到 Ca= 0c 0 = rr Xara cl! = Trs sclh’ = XIXs, 
< 和 一 zaxzszr 十 Tirars: 梯形 疯 络 中 所 有 最 小 路 为 zris Xaxs， 


TU dat. 


2, 求 可 靠 度 的 算法 
问题 归结 为 求 事件 并 的 概率 R=P| 【4.). 


* T7050* 


(1) 利用 初等 概率 公式 
Pt (4 = 2 1)7 5,, 9; 


当 六 大 时 方法 不 实用 . 

C2) 不 交 化 算法 求 可 靠 度 尽 

设 网 络 共 有 ?= 个 缚 点 ,所 有 最 小 路 4:,…，,4。 已 求 得 , 不 交 化 
可 分 两 步 ， 

(i) 取出 长 度 为 ”一 1 的 所 有 最 小 路 4 4 Aj(j = 
二 十 1 2 中 未 出 现 的 强 工 用 工 补 上 . 所 得 的 这 些 事件 互相 不 
变 , 且 与 长 度 小 于 一 1 的 所 有 最 小 路 表示 的 事件 不 交 ， 

(ii) 对 长 度 小 于 ”一 1 的 最 小 路 A1,…' ,A 由 如 下 手续 不 交 : 
4 十 4 4 十 Ad 十 人 十 4 二 .最 后 把 a 中 结果 合并 即 
得 不 雍和 . 

例 33.6.5 图 33.2 中 网 络 输 入 、 输 出 结 点 1,2 之 间 的 所 有 
最 小 路 为 


| 
心 


gaacrvadgg ,rerapegyadecy fdbe. 


图 33. 之 


由 于 网 络 结 点 数 为 5, 故 长 度 为 4 的 所 有 最 小 路 不 交 化 后 为 
abcdefg + abcdefe + abcdefg. 
下 面 对 fg 十 abe 十 adg 十 .fer 化 成 不 次 和 [为 符号 简单 上 式 中 
用 十 代替 山 ). 
(1) 取出 疡 , 保 误 . 
(2) 取出 abc ,与 前 面 的 保留 项 不 交 . 因此 ,这 一 步 保 留 . 
”了 0 。 


abc fg — abc(f + g) = abc(f + fa). 
注意 在 这 一 步 中 了 十 # 本身 也 要 进行 不 交 化 ,同时 利用 如 下 运算 
法 则 进行 简化 . 
十 二 1， xx 一 0, XX 十 Y 二 xy Ty 二 十 y， 了 十 了 一 工 ， 
(3) 取出 adg ,与 前 面 的 所 有 保留 项 不 交 , 故 保留 
adg fbc=adg f (B+ be). 
(4) 取出 fec, 与 前 面 的 保留 项 不 交 . 
fecg ab= fecg lat+ad). 
注意 ,此 时 不 必 与 (3) 中 的 保留 项 不 交 化 ,因为 上 述 项 中 有 ;而 
(3) 中 保留 项 有 g. 
因此 ,最 终 的 不 交 和 为 
fe tabctf+ fa tadgf (ioe) fecg tatab) +t-abcdefg+ 
apcdef g++abcdelg. 
对 大 型 网 络 求 所 有 最 小 路 及 不 变化 手续 可 以 利用 计算 机 来 


实现 


网 络 可 靠 度 目 前 研究 的 问题 有 ;简化 网 络 的 方法 法 个 节点 相 
道 的 可 靠 度 问题 ;算法 复杂 性 研究 等 . 


33.7 故障 树 分 析 


故障 树 分 析 (fault tree analysis， FTA}) 是 20 世纪 60 年 代 发 
展 起 来 的 一 种 可 靠 性 分 析 方 法 . 用 于 定量 评定 不 希望 的 事件 ( 称 作 
顶 事件 )7 发 生 的 概率 ,并 找 出 导致 工 发 生 的 各 种 基本 事件 的 所 
有 可 能 的 组 合 . 由 于 FTA 可 用 一 棵 俩 长 的 树 来 天 示 , 故 称 故 
障 树 . 

方法 33, 7. 1 FTA 的 程序 

《1) 选择 顶 事 件 了 顶 事 件 的 选择 必须 有 明确 定义 , 且 能 进 
一 步 分 解 . 
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《2) 建立 故障 树 ”由 项 事 件 了 按 还 辑 关系 逐 级 分 解 来 建立 
树 . 若 工 的 发 生 由 次 级 事件 4,B 中 任 一 发 生 而 引起 , 则 由 “或 门 ” 
把 T 与 4,B 相 联 系 ; 若 4,8 同时 发 生 丁 才 发 生 , 则 由 “与 门 * 相 
联系 . 对 4,B 又 可 分 析 下 去 ,一 直到 不 能 分 解 的 基本 事件 为 止 . 
故障 树 的 建立 需要 专业 人 员 与 可 靠 性 工作 者 结合 


或 门 [二 /se\ 汪 站 
AB AB 
图 33.3 


《3) 故障 树 的 评定 ”假定 故障 树 由 个 基本 失效 事件 组 成 . 
用 zz 二 1 或 0 表示 基本 事件 ; 出现 或 不 出 现 ,x 二 (x1,… ,zx,). 顶 事 
件 了 的 状态 由 wz) 表 示 ,wxz) 一 1 或 0 时 表示 全 发生 或 不 发 生 . 

定义 33.7.2 若 g(x)= 二 1; 称 x 为 g 的 一 个 割 向 量 ; 若 区 有 
YY yy) 一 0, 则 是 一 个 最 小 制 向 量 . 记 c(x)={j:z) 二 1)， 
称 为 相应 于 x 的 最 小 割 集 ,简称 最 小 割 . 

若 记 玉 ,各 为 史 的 所 有 最 小 割 , 仍 用 名 表示 该 最 小 割 相应 


的 基本 事件 发 生 的 变 . 因 上 比 , {7 发生 } 一 fx:glx) 二 1) 一 Ux. 于 


是 ,故障 树 的 评定 要 求 出 所 有 最 小 割 后 ，…,& 及 概率 已 人 U | 


方法 33.7.3 下 行 法 术 所 有 最 小 割 ”由 顶 事件 了 往 下 列表 
逐 级 进行 . 若 了 下 面 一 级 是 “与 门 ", 则 把 该 门下 所 有 输入 都 排 在 
间 一 行 中 ; 阁 工 下 面 是 “或 门 ”, 则 把 每 个 输入 事件 单列 一 行 . 然后 
依次 做 下 去 ,一 直到 基本 事件 为 止 . 最 后 进行 检查 ,保留 两 两 孔 不 
包含 的 割 集 , 即 为 所 有 最 小 割 . 

例 33.7.4 求 图 33.4 所 有 最 小 割 . 

列表 如 下 : 

。 708 ， 


步 票 1 2 3 4 5 

1 1 1 1 1 

2 2 2 2 2 
GG Gr GoG; dG 4'6,7 
Gi 3 SG 516:7 

Gs 3 3 

5,6 516 

由 上 表 第 5 列 得 6 个 割 集 : 


{1) {2),{3), {15.6}, {14,6.7),(5,6,7). 
但 由 于 和 {5,6} 性 15;6，7), 敬 应 删 去 {5,6,7). 留 下 的 无 相互 包 合 的 
关系 . 故 所 有 最 小 割 为 {i} ,12},{3),{5,6},{4,6,7)， 

在 已 知 基 本 兴 件 发 生 的 概率 及 互相 独 并 的 条 件 下 ， 
P( |] 的 求法 与 网 络 可 靠 度 求法 相同 . 


FTA 目前 研究 的 问题 有 :对 大 型 问题 有 效 的 算法 与 软件 ! 事 
件 的 逻辑 关系 中 出 现 “ 非 门 ” 等 更 一 般 的 事件 酝 的 分 析 方 法 ;计算 
“709 。 


机 辅助 FTA 等 . 


33.8 可 修复 系统 可 靠 性 分 析 


33. 8. 1 可 修复 系统 的 可 靠 性 指标 

对 可 收复 系统 的 状态 , 它 总 是 正常 与 失效 相交 蔡 的 一 个 过 程 ， 
其 可 靠 性 猎 标 有 :系统 首次 失效 时 间 工 的 分 布 + 可 用 度 
Cavailability)AC() 一 P{ 系 统 在 时 刻 1 正常 }; 以 及 (0,t]j 中 系统 失 
效 次 数 NG), 此 外 ,车 考 虚 划 修理 , 则 有 修理 工 在 1 时 忙 的 概率 
Br}, 车 too 时 , AC) ,B(#) 或 上 EN(z) 的 极限 存在 , 则 分 别称 其 
为 稳 态 下 的 量 . 
33. 8. 2 单 部 件 可 收复 系统 

设 系 统 由 单 部 件 组 成 ,: 二 0 时 开始 运行 ,工作 与 修理 相交 替 ， 
相继 工作 时 间 为 非 负 随机 变量 下, , 尺 ;,-…, 独 立 同 分 布 R(t) ,相继 


修复 时 间 为 Yi Yo 独立 同 分 布 GC). 并 假定 {XX,} 与 {了 .} 独 这， 


及 EX1= 证 ‘EY 1 0A 0 pee. 


系统 首次 失效 时 间 为 对， 有 可 靠 度 函 数 R= 了 FG),t 宇 0. 


EX= 
系统 可 用 度 A() 相 应 的 上 S 变换 为 
asy = 1 s > 0。 (33. 10) 
1 一 f(s)gtsy 


这 里 5 表示 4 的 55 变换 &(s) 一 | edAle) ,5 > 0. 稳 态 可 用 度 
A= 上 AAA 十 £0), 
(0,tj] 中 系统 平均 失效 数 MQ) 相 应 的 LS 变换 为 
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. fls) 
M(s) = s>0. (33. 11) 
1] 一 /50 ， 
稳 态 下 的 平均 失效 率 "一 lm MO = 
特别 , 若 了 X,,Y 分 别 有 参 数 为 A, 的 指数 分 布 时 


2 A 
Tr are 所 0 (C33, 12) 


Ap 1 一 二 ~ 
Mr) TH 一 〔] 一 ee )， 上 之 


33.8.3 马尔 可 夫 可 修复 系统 


所 谓 马 尔 可 失 可 收复 系统 是 指 系统 中 的 部 件 互相 独立 ,其 寿 
命 及 其 修复 时 间 均 为 指数 分 布 的 系统 . 此 时 系统 的 状态 可 以 由 一 
个 时 齐 的 马尔 可 夫 过 程 来 描述 . 

设 { 苞 人) ,t 宇 0} 是 有 限 状 态 空间 J 二 {1,… ,mw 十 x} 上 的 一 个 时 
齐 马 尔 可 夫 过 程 . 相应 的 转移 率 信 阵 为 Q= (gi))， 

GD gq 00 7， 2 0 7 EE J. (33.13) 


记 状 态 概 率 ( 行 向 量 )p()， 其 第 了 个 分 量 pj(2) 一 PIXQ) 一 
让 ,7jE 初始 状态 概率 a=pC0). p() 可 表 为 
pu) = Ae , 10 {33. 14) 
或 p(t) 相 应 的 工 变 换 


p(s) 一 上 pe"dz 一 az 一 8)-! ,于 单位 阵 (33. 15) 


其 稳 坊 概率 户 一 limP( 纪 由 
FO=0, pl=1 《33. 16) 
解 出 ,其 中 1 是 分 量 全 为 1 的 列 向 量 . 
假定 从 系统 可 靠 性 角度 来 讲 , 系统 的 状态 可 分 为 两 类 ;W = 
代 …… 4} 为 正常 状态 ;, 昌 二 fr 十 1 一 ym 十 nn) 六 失效 状态 . 系统 的 
可 靠 性 指标 为 


A = 
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(1) 可 用 上 度 4 人 6 到 稳 态 可 用 鹿 4 
A = DpAD,t0. A= Dp,. 
jeEW jEW 

(2) 系统 可 靠 度 函 数 R(t} 及 首次 失效 时 间 工 的 均值 

RG) = PTH) = awe to. 5 一 一 Crll， 
其 中 Cr 一 (ai 全) 人 Or 一 (girisf E WY). 

(3) 稳 态 下 平均 开工 时 间 MUT(mean up-time) ,平均 停工 时 
间 MDT 《mean down-time) 点 平均 周期 长 MCT (mean cycle 


time ). 


公式 33.8.1 MUT 一 一 


pwl _ Pw1 工 二 一 psl 
Pen pOnel’ pwQwl 

一 7 MCT= (pwQwsl) ', 这 里 ps= (pjE B), Ows= (gi 
EW,iEHB). 

(4) 稳 态 下 系统 平均 失效 率 民 

公式 33.8.2 M 二 prQwel 二 (MCT), 

(5) 瞬时 及 稳 态 失效 疾 率 vb) 及 >: 

公式 33. 8.3 vA)= — pw it}Ow1 = pw tlt) Owsl 小 0.v 二 MM 二 
pwOwsl1. 

例 33.8.4 2-out-of-3( 玉 ) 系 统 ” 设 系统 由 独立 同型 部 件 组 
成 ,部 件 的 寿命 及 修复 时 间 分 别 为 4, 的 指数 分 布 . 系统 中 有 一 个 
修理 工 . :一 0 时 系统 开始 运行 ,所 有 部 件 正常 . 

定义 状态 i 为 系统 中 恰 有 :个 部 件 失 效 ,i 二 0,1,2. 状态 空间 


34 2 


训 x 


图 33-5 


J 二 WUB,W={0,1};B 二 {2). 状 态 间 的 转移 率 由 图 33. 5 标 出 初 
始 状 态 概 率 为 a 二 0,0,0), 转 称 率 第 阵 为 
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一 3 34 0 
有 一 | 2 
0 此 一 上 
为 表达 式 简单 起 见 只 列 出 稳 态 或 平均 结果 ,记号 同 前 . 
名 一 (6 十 3 十 1， P=3ppo, pe= fp’p, p= 全 


"lA 
ET= 六 十 二 3s， 
44 一 种 十 加 一 (1 十 30) 户 ， 
»—M=6Appo. 


十 3 了 工 J -1 
MUT 一 io ， MDT= MCT=(6Appo) . 


33. 8.4 补充 变量 法 


对 可 修复 系统 进行 分 析 时 , 若 寿命 或 修复 时 间 不 是 指数 分 布 ， 
则 马尔 可 夫 性 遭 到 破坏 . 此 时 若 能 通过 引入 新 的 补充 变量 ,使 系统 
的 状态 用 一 个 高 维 的 马尔 可 夫 过 程 来 描述 , 则 可 建立 状态 概率 满 
足 的 偏 微分 方程 ,于 是 通过 对 这 些 方程 的 求解 获得 系统 性 状 的 定 
基 评 定 . 因此 ,补充 变量 法 是 分 析 复杂 系统 可 靠 性 时 的 一 个 重要 
工具 . 
由 如 下 模型 来 说 明 补充 变量 方法 . 设 系 统 由 两 个 同型 部 件 及 
一 个 修理 设备 组 成 . 记 N() 为 时 刻 t 失效 的 部 件数 (0,1 或 2). 设 
系统 中 部 件 的 失效 规律 为 

PIG 十 SI 一 TY 一 D 一 Ma 十 ofaAr)， 

PONG TA) = 2ING) = 1) = AA + oAr)., 
失效 部 件 按 顺序 进行 修理 , 且 修 复 如 新 ,修复 后 立即 投入 工作 . 进 
一 步 设 修理 与 运行 这 些 过 程 都 是 互相 独立 的 . 修理 时 间 有 一 般 连 
续 分 布 G4) ,密度 为 CD) ,均值 二 有 限 . 系统 失效 当 且 仅 当 两 个 部 


件 都 处 在 失效 状态 时 . 
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由 于 修理 时 间 遵 从 一 般 分 布 , 故 六 (对 任 一 时 刻 不 具 有 马尔 
可 去 性 ,因此 , (NG 之 0 不 是 马尔 可 去 过 程 . 例如 已 知 N (一 
1 ,此 时 仍 不 足以 确定 上 册 后 NN (2) 的 概率 规律 . 因为 在 时 刻 上 已 失 
效 部 件 所 得 到 的 修理 时 间 长 短 显然 影响 到 N (2) 的 变化 规律 . 

为 此 引进 一 个 补充 变量 承 () ,记录 时 刻 t 正在 修理 的 部 件 所 
占用 的 修理 时 间 . 约定 当 Ni 一 0 时 ,大 (一 0. 于 是 {NCe)， 
天 (2 ;ft 之 0} 是 一 个 状态 空间 JX[0,0o0) 上 的 号 尔 可 夫 过 程 ,这 里 J 
二 {0,1,2), 这 个 过 程 的 马尔 可 去 性 直观 上 容易 得 到 证 实 :对 任意 
时 刻 #, 荐 NG) ,和 (给 定 , 则 过 程 在 上 以 后 的 概率 规律 与 1 以 前 
的 历史 无 关 . 

1. 系统 可 用 度 

对 任意 z 宇 0,7 实 0, 令 

Polt) = PONG) 一 0)， 
prlt rrr = PONG) = lr RH) z+ dr), 
pli xdr = PONG) = 2,7 XO) ET dr). 
初始 条 件 poC0) 二 1, (0,2) 一 pat0;7) 二 0， 
由 上 述 诸 式 可 以 导出 如 下 方程 


Gpott) 一 一 pol 个 十 | > (tx) n(x)dz, (33.17) 
礼 p(t) 十 总 P(x) 一 一 [A 十 pz) pe) 2> 0, 
(33. 18) 
FPalts 2) 十 于 pasz) =— pr potsz) 十 入 和 (zz)， 工 六 0， 
(33. 19) 
At0) = hpolt) 十 jp pr)dz, 
patt10) 一 和， 
polt) 十 总 esadz 十 | -1. 
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这 里 je) 二 gr/GCz) GEG=1 一 G) ,是 全 相应 的 杜 复 率 郴 
数 . (33. 17) 可 如 下 推出 :为 便 NG 十 A 二 0, 必须 NC 一 0, 基 以 ， 
ti 十 好] 内 无 故障 发 生 ; 或 NG) 一 1 和 (一 二 0, 且 在 (十 尾 ] 中 
失效 部 件 修复 ,这 里 xz 可 以 是 任意 正 实数 ,于 是 
PUTAD) 二 和 ODNAt) 十 | 2 Csz)HCz)drAi 十 ofA6)， 
经 过 简化 , 即 可 得 (33. 17),. 另外 (33. 18),(33. 19? 可 相仿 获得 . 为 
求 出 可 用 庆 ,可 对 偏 微分 方程 组 两 端 做工 变换 (对 变量 妆 . 

钉 用 初始 条 件 可 得 关于 xz 的 微分 积分 方程 
sps (5) — 1 = hps (s) 十 | pr lsrr)ptrydx, 


sp (ssw) 十 Lp; (s,s x) 一 一 (A 十 uCTYYp? {ssT), 二 > 0, 
sps 《377 十 ps ST) = TI pz C5, 区) 十 Apr (srr TX 0. 


pr (510) = hpe (5) + | CS,z)pCz)dz， 
pi (30) = 0， 
: 四 1 
ps ts) 十 | pl (sd 十 [ ps: {sx)dzx 一 下 
这 里 用 ps (，。 ) 等 表示 po(*， ) 的 上 变换 , 解 之 可 得 
pi Cs) = i—g’(s) g's 二 A /als), 
pr {sst) = MCTr)e Sh feats), 
pi sr) = NGCr)e “(1 — eh)/als), 
其 中 af = sg G+ A 十 4 十 和 [1 一 EC 
系统 的 瞬时 可 用 度 为 
过 全) 一 pott) + | pikesr)dz, 
相 庶 的 工 变换 为 
4 人 3 一 人 十 加 [1 一 二 fs) gts A)] 
二 NDl 一 g* G+ A + Nals)}], 
" 715° 


稳 态 下 可 用 度 4=limA() 一 limsA'{s). 即 


A= [hp pO CO— he CAD + hg OA). 
2. 系统 可 靠 度 
为 求 可 车 度 Rt, 具 要 把 原 过 程 {N (9 ,天 ( 的 2 空中 中 的 状态 
121XK0,eo) 当 作 吸 收 态 , 这 样 定义 了 一 个 新 的 马 氏 过 程 { 训 (0)， 
有 (1) 1,t 字 0} 记 
g(t) = P(N = 0), 
qtrydzr = PNG) 一 1 < 0) 十 dx). 
初 条 件 4500) 二 1 (0,z) 二 0. 
于 是 可 靠 度 可 表 为 
公式 33.8.5 R(t) 一 gy() 十 | (dd 


通过 导出 qo) ,g(tyzx) 满 足 的 偏 微 分 方程 ,由 工 变换 的 方法 
可 得 gel ;gC 相应 的 工 变换 式 go (5) ,gi (5 ,x》, 
@ (3 一 人 十 如 [一 全 "全 十 而 
gr (sr) = MGlTYe tig gs)。 
因此 RC) 相应 的 工 变换 为 
公式 33. 8.6 
R'(s) 一 全 十 而 十 刘 1 一 区 5 十 页)])g9d C5) f(s 十 各} 
系统 首次 失效 前 平均 时 间 了 为 
公式 33. 8.7 


TT 二 | Reod: = lim R'(s) 二 1 
4 5 二 


1 
4 hl og Ca) 

从 上 面 的 模型 来 看 ,使 用 补充 变量 法 的 步骤 为 :引入 适当 的 补 
充 变 量 , 使 描述 系统 状态 的 过 程 成 为 一 个 马尔 可 夫 过 程 ;建立 状态 
概率 满足 的 偏 微分 方程 ;由 工 变换 解 方 程 ; 求 稳 态 解 或 平均 值 . 由 
于 补充 变量 的 个 数 不 能 太 多 ,否则 实际 求解 常常 变 得 不 可 能 ,因此 
限制 了 其 应 用 的 范围 . 
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分 析 更 复杂 的 可 修复 系统 需要 进一步 的 工具 ,例如 马尔 可 去 
更 新 过 程 等 ,请 参阅 第 27 章 及 文献 [47],[97],[1014,[1024 等 . 


33. 9 更 换 策 略 


系统 在 运行 中 失效 一 般 比 失效 前 更 换 带 来 的 损失 更 大 . 因此 ， 
预防 性 更 换 策 略 (Creplacement policy) 的 研究 有 实际 意义 . 

设 系统 的 寿命 分 布 为 (4). 失效 前 或 后 每 更 换 一 次 的 费用 分 
别 为 covcr' 假定 更 换 是 瞬时 的 , 记 c(2) 为 (0, 幻 中 更 换 的 总 费用 .< 
一 lim 闻 Ect) ,为 长 期 运行 下 单位 时 间 中 的 期 望 费用 . 问题 为 研究 
在 不 同 的 更 换 方式 下 使 “ 达 最 小 的 更 换 策略 ， 

方法 33.9.1 按 年 龄 更 换 策略 (age policy) 是 指 到 一 定 的 年 
龄 工 (车 系统 此 时 未 失效 ) 或 在 其 失效 时 进行 更 换 . 此 时 
oFOT) + eFCT) 

| Fa | 


最 佳 更 换 年 龄 了 "由 使 上 式 达 最 小 而 求 得 ， 
方法 33.9.2 成 批 更 换 策略 (block policy) 是 指 在 周期 时 刻 
T(E 二 1,2,…*) 上 或 系统 失效 时 进行 更 换 . 此 时 


c= eT) = [ec, + EN(T)], 


其 中 NG 为 (0,tj 中 失效 次 数 .使 上 式 达 最 小 求 出 最 佳 更 换 周 
期 TT*. 

方法 33.9.3 小 修 策 略 Cminimal repair policy) 是 指 系 统 在 
&T 周期 性 地 进行 预防 性 更 换 (对 二 1,2,…) ,车 在 周期 中 失效 则 进 
行 小 修 ,使 系统 恢复 到 失效 前 的 状态 4 即 小 修 后 系统 的 失效 率 rG) 
不 变 ). 若 每 次 小 修 的 费用 为 c"* 则 


了 
e 一 (一 去 [cp 十 | ru yda |. 


c 一 CT 一 


*7]17， 


使 上 式 达 最 小 求 出 最 佳 更 换 周期 . 
更 换 策 略 研 究 中 更 进一步 的 问题 有 考虑 折扣 因子 , 视 情况 更 
换 或 维修 ,以 及 费用 依赖 于 修理 次 数 或 年 龄 等 模型 . 


33. 10 ”寿命 数据 分 析 


寿命 数据 统计 分 析 是 可 靠 性 工作 的 基础 . 这 种 分 析 有 其 自身 
的 特点 :数据 的 不 完全 性 , 原因 可 能 是 现场 数据 不 全 ;或 对 长 寿命 
产品 特别 是 元 器 件 , 寿 命 试验 不 可 能 进行 到 所 有 受 试 件 全 部 失效 ， 
因而 不 能 获得 所 有 样品 的 寿命 数据 . 此 外 ,加 速 寿命 试验 数据 ,可 
修复 系统 相 邻 故障 间隔 的 数据 ,以 及 由 部 件 寿 命 试验 数据 如 何 获 
得 系统 可 靠 性 指标 等 ,都 需要 不 同 的 处 理 方法 . 

寿命 试验 中 最 常用 的 有 : 

(1) 定时 截 尾 方案 个 独立 同 分 布 的 样品 苹 !，… ,XX 从 
1 一 0 开始 受 试 ,试验 到 事先 规定 的 时 间 终止 . 试验 中 的 失效 件 不 
进行 昔 换 . 假定 试验 结束 时 获得 7 个 失效 数据 


Ty RT Tn to, 


这 里 zoo szom 是 1，… ;XX 队 小 到 大 的 顺序 统计 量 的 头 7 个 观 
察 值 . 注意 ,r 是 一 个 随机 变量 ,可 能 值 为 0,1,… ,n. 试验 结束 时 的 
失效 个 数 是 其 观察 值 . 

(2) 定数 截 尾 方案 “与 定时 方案 相仿 ,试验 进行 到 第 ~ 个 ( 事 
先 规定 欧 ) 失 效 发 生 时 终止 ,可 获 数 据 


Ty < 站 Tr 
这 里 试验 终止 的 时 间 Xi 是 随机 的 ， 
其 它 试 验方 式 还 有 定时 与 定数 截 尾 相 结合 的 混合 方案 或 序 贯 


方案 等 . 
“718* 


33. 10. 1 指数 总 体 的 情形 


设 总 体 究 有 指数 分 布 严 介 一 1 一 e -二 320. 平均 寿 傅 EX 二 0 
为 末 知 参数 ， 
1. 定数 截 尾 方案 


记 了 (r) = 2 Xo 十 Cn 一 7DXw. 则 的 极 太 似 然 估计 


(MLE) 为 6 一 二 T(r).6 的 置信 度 为 1 一 a 的 双 侧 置信 区 间 为 
2aT (r) nT {ry 

加 [1 一" 滩 [ 和 |" 这 里 竣 () 为 办 分 布 的 分 位 训 , 
4 1 一 部 | 闪 [ 驴 | 
PI EB) =p 
2. 定时 截 尾 方案 


记 TG0) = 六 Ko + 一 rp)t, 则 pb 了 To).g 的 置信 度 至 
;0 


有 


少 为 1a 的 双 侧 置信 区 间 为 | 一 [ta;， jad 55 | 这 里 


二 11 十 tp 1 一 全 | 1 ， 
b= li 十 > 二 Tec -sse 1) 辣 1. 
而 .aCQ) 为 分布 的 a 分 位 点 . 


33. 10, 2 ”种 布 尔 总 体 的 情形 


设 总 体 区 有 韦 布尔 CWeibull) 分 布 () 二 1 一 e- 押 ,22>0,T,， 
m 为 未 知 参 数 . 在 定时 或 定数 截 尾 方案 下 ,数据 统一 记 为 zo 入 
雪 Top 委 ze 这 里 
-人 定时 方案 下 ， 
“中 zw， 定数 方案 下 . 
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未 知 参数 加 ,了 T, 的 MLE 由 下 面 的 方程 迭代 解 出 


1 Dz?logz, 十 《一 rx"logx, ， 
一 一 一 一 TL Slogzx,, 
nt rr 二 

Dr + Cn — a” 全 

t=1 


T= i[ Dr 十 《8 一 rx? |. 
上 述 两 式 中 为 记号 简单 起 吉 , 用 zx; 来 代替 xz. 
33- 10. 3 个 分 布 总 体 的 情形 


设 总 体 X 有 分 布 密度 f(1) 一 FEjt 1e*,t>0,4,a>0 为 未 
知 参数 . 在 完全 样本 1 下 ha 的 矩 法 估计 量 为 


i= 0 Di/ Dz) d= Az, 
fi 


其 中 三 = Fo 


33. 11 软件 可 靠 性 


70 年 代 起 ,计算 机 已 渗透 到 现代 社会 生活 中 的 各 个 方面 . 宇 
航 , 空 中 交通 控制 系统 ,通讯 ,银行 系统 ,防务 系统 等 都 要 求 计算 机 
有 极 高 的 可 车 性 .因此 ,开发 .运行 各 维护 与 复杂 的 系统 功能 相 适 
应 的 软件 ,以 及 软件 本 身 的 可 靠 性 就 越 来 越 受 到 重视 ， 

所 谓 软件 失效 或 故障 是 指 软 件 不 能 完成 预定 的 功能 或 达 不 到 
设计 规范 所 规定 的 标准 (如 精度 或 响应 时 间 要 求 ). 

定义 33.11.1 在 特定 的 环境 中 ,在 一 定 的 时 间 间 隔 中 ,软件 
正常 运行 的 概率 称 为 软件 可 菲 度 (software reliability). 而 软件 在 
时 刻 上 正常 的 概率 称 作 软 件 可 用 度 (software availabijlity )， 

”了 20。 


与 硬件 相 比 较 ,软件 可 人 内 性 问题 有 其 自身 的 特点 . 软件 不 会 因 
使 用 时 间 的 增加 而 “老化 ”软件 的 失效 是 由 于 人 为 设计 或 逻辑 错 
误 造 成 的 ;软件 故障 一 旦 发 觉 并 排除 后 不 会 再 出 现 同样 的 故障 ; 软 
件 不 能 通过 元 余 技 术 来 提高 其 可 靠 性 . 

性 质 33. 11.2 软件 开发 的 寿命 周期 : 

(1) 自 标 阶段 ”为 达到 新 开发 系统 所 要 求 的 功能 ;必须 对 相 
应 的 软件 提出 目标 .要求 及 趣 范 . 这 是 软件 开发 的 出 性 点 . 

《2) 开发 调试 阶段 这 一 阶段 中 进行 软件 的 编制 .调试 及 
收 错 ， 

《3) 论证 和 阶段 ”这 阶段 是 在 开发 者 对 软件 质量 表示 满意 之 后 
进行 的 . 经 过 彻底 的 检验 ,目的 在 估计 其 可 靠 性 . 

《4) 运行 阶段 ”软件 通过 论证 后 即 交 用 户 使 用 ,并 在 使 用 过 
程 中 不 断 被 检验 . 

05) 维护 阶段 ”在 这 阶段 中 及 时 改正 运行 中 发 现 的 错误 ,或 
随 环境 变化 增加 新 的 功能 ,或 进行 算法 改进 等 . 

《6) 软件 更 新 阶段 随 着 系统 环境 的 变化 ,软件 不 能 完成 各 
种 新 的 功能 时 则 需 更 新 软件 . 此 时 重新 开始 一 个 新 的 软件 寿命 
周期 . 

模型 33. 11. 3 ”寿命 周期 的 模型 ”在 软件 寿命 周期 中 的 不 同 
阶段 有 不 同 的 模型 来 描述 . 如 有 描述 软件 错误 的 概率 模型 ,用 以 预 
测 或 估计 软件 中 剩余 的 错误 数目 或 软件 可 靠 性 的 增长 ;有 在 软件 
中 人 为 加 进 错 误 , 用 以 检验 软件 可 靠 性 的 模型 ;有 与 一 定 的 费用 相 
联系 的 软件 发 行 时 间 的 模型 等 . 日 前 以 软件 可 靠 性 概率 模型 的 研 
究 为 最 多 [L100],[501. 

杰 林 斯 基 - 莫 说 达 (Jelinski-Moranda) 在 1972 年 提出 了 一 个 
软件 可 靠 性 模型 ,是 以 后 诸多 模型 的 出 发 点 . 模型 的 假定 为 ; 

(1) 一 个 软件 系统 原始 错误 的 个 数 NN 是 一 未 知 常数 . 

(2) 软件 相互 故障 之 间 的 时 间 有 独立 的 指数 分 布 , 其 参数 与 
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系统 中 残存 的 错误 数目 成 正比 ,比例 因子 4 是 常数 . 
(3) 当 查 出 一 个 错误 后 , 它 被 完全 排除 . 
车 记 和 N28) 为 (0,tJ 中 发 现 的 软件 错误 数 ,N C0) 二 0,RG) 二 NN 
一 NO) 为 到 时 刻 zt 为 止 软件 中 残存 的 错误 数 , 工 ; 为 发 现 第 个 错 
误 的 时 刻 ,XX: 二 Ti 一 Ti1 民 二 1…,N ,To 一 0. 则 有 
PIR(tY 二 此 } 一 的 el — eM) ON; (33,20) 
ER(Y = Ne-* 
PIXi tT = = PIR, Yt) = et = 1 N, 
若 已 观测 到 头 上 = 次 软件 失效 的 时 刻 0 一 加 < 所 < 和 + 则 
未 知 参 数 4 及 NN 可 由 对 数 似 然 函 数 


logL = DN ETD+TaADN + 1) 


(33. 21) 
alogL 


98E 一 0， I 一 0, 基于 4,N 的 估计 即 可 对 软 


求 导 获得 . 即 解 
件 可 车 性 作出 预测 . 

软件 可 靠 性 研究 需要 进一步 深入 的 工作 有 : 

(1) 不 断 完善 模型 . 即 要 建立 更 合适 的 模型 来 氮 合 已 有 的 数 
所 ;引入 或 重新 定义 参数 ,以 便于 数据 的 收集 ,模型 的 数学 表述 以 
及 统计 估计 及 预测 . 

(2) 建立 软件 数据 库 . 


22， 


34 随机 模拟 
34.1 引言 


随机 模拟 (stochastic simulation) 在 历史 上 最 早出 现 的 例子 ， 
是 有 名 的 Buffon 问题 . 距 今 已 有 200 多 年 了 .由 于 模拟 试验 工具 
的 限制 ,一 直 未 得 到 发 展 , 随 着 生产 管理 及 科学 技术 的 发 展 ,出 现 
了 许多 复杂 问题 ,如 高 维 数学 方程 的 求解 . 核 物理 中 描述 质点 运动 
的 微分 方程 .大 系统 的 可 靠 人 性 分 析 与 模拟 .地 志波 的 模拟 试验 、 医 
学 ,工程 技术 中 的 识别 ,诊断 ,系统 工程 的 运筹 优化 ,多 元 统计 分 
析 、 排 队 网 络 等 等 , 这 些 问 题 用 传统 的 物理 试验 或 数学 方法 难以 解 
决 , 而 随机 模拟 的 方法 为 这 些 问题 的 解决 开 以 了 新 的 途径 . 区 其 是 
计算 机 的 出 现 , 为 统计 试验 方法 提供 了 强 有 力 的 模拟 工具 , 才 合 这 
一 方法 得 到 了 广泛 的 应 用 . 本 章 主 要 内 容 是 ;随机 向 量 及 随机 过 程 
的 模拟 ;用 统计 试验 方法 求解 数学 ,物理 ,工程 技术 与 管理 中 的 问 
题 , 如 高 维 积分 的 计算 ,代数 方程 ,微分 方程 求解 等 等 . 


34. 2 ”均匀 分 布 随机 数 的 产生 


34.2.41 均匀 分 布 随机 变量 


设 和 的 概率 密度 函数 为 
1,z € [0,1], 
0 之 全 10,11， 
则 民 为 [6,1] 上 均匀 分 布 随机 变量 . 在 计算 机 上 ,可 产生 随机 变 基 


Fir) 一 
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的 抽样 序列 {z,} ,通常 我 们 称 zx 为 [o,1] 上 均匀 分 布 随机 变量 
天 的 随机 数 ,简称 均匀 随机 数 ， 

方法 34. 2.1 分 类 在 计算 机 上 ,产生 随机 数 的 方法 可 分 为 
三 类 : 

(1) 把 已 有 的 随机 数 表 输入 机 器 (如 美国 RAND 公司 做 的 百 
方 随机 数 表 ); 

《2) 用 物理 方法 产生 随机 数 ，; 

(3) 利用 数学 方法 产生 随机 数 . 

方法 (3) 发 展 快 ,简便 易 行 ,应 用 广泛 ,在 此 重点 介绍 ， 


34. 2. 2 信 随机 数 


定 兴 34.2.2 议 随 机 数 (pseudorandom number) 是 指 按照 
一 定 的 计算 方法 产生 的 一 列 数 ,它们 具有 类 似 于 均匀 随机 变量 独 
立 抽 样 值 序列 的 性 质 , 由 于 这 些 数 是 依照 确定 性 的 算法 产生 的 , 存 
在 着 周期 现象 ,但 如 计算 方法 选 得 恰当 ,它们 便 可 近似 于 相互 独立 
和 近似 于 均匀 分 布 , 即 它们 能 够 通过 数理 统计 中 独立 性 检验 和 均 
句 分 布 检验 , 因此 人 人 们 称 它 们 为 伪 随 机 数 ， 
一 坡 阅 米 , 伪 隘 机 数 要 借助 于 北 推 公式 ， 
Ty 二 CT 
上 人 产生 的 随机 数 的 才学 广 法 有 夺 代 到 中 让 移 位 法 及 余数 法 等 ， 
下 面 仅 介 绍 最 常用 的 余数 法 . 令 
公式 34, 2.3 yl 二 Ays 十 c (mod MM) 
其 中 初 值 Vo : 飞 子 小 增 量 c 和 模 M 取 非 贷 整 数 , 当 《一品 时 
Yat1 一 Ay Immod M). 
取 
Tr 二 ynM ,yo 二 a (a 为 奇数 ). 
由 构造 方法 可 知 :0 委 % 委 邮 ,0 委 过 1, 故 不 同 的 yi;( 因 之 x;) 
至 多 上 只 有 肯 个 ,这 表示 序列 {zx,} 是 有 周期 工 的 ,所 MM ,每 隔 工 个 
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不 同 的 x; 后 循环 一 次 ,于 是 iz,} 不 是 真正 的 随机 序列 . 但 着 工 充 
分 大 ,在 同一 周期 内 的 1zx,} 却 可 通过 统计 中 独立 性 与 均匀 性 检验 ， 
从 而 可 视 为 服从 50,1j 上 均匀 分 布 的 均 随 宙 数 列 , {xz} 完全 依赖 于 
参数 zx. 4 及 M 的 选择 , 如 向 选择 参数 ,目前 主要 依靠 在 计算 机 上 
作 实 验 , 从 文献 中 得 知 下列 参 数组 较为 适用 : 

(1) ae 一 1 一 57，M7 一 242( 了 一 240=<10123 

(2) a 一 1 人 一 33 一 28( 工 一 234s2X100)1 

(3) a=1,4=7,M=10"(L=5X10)... 

(参见 文献 [51,[103].[1106],[109]) 


34. 2. 3 ” 伪 随 机 数 的 检验 


为 了 确认 所 产生 的 随机 数 是 否 具有 所 要 求 的 统计 性 质 ,通常 
要 对 它们 进行 一 定 的 检验 ,下 面 介绍 常用 的 统计 检验 , 

方法 34. 2. 4 参数 检验 ”为 了 检验 随机 数 的 分 布 参数 抽 汶 
值 与 理论 值 的 差异 是 否 显 著 . 设 产生 的 均匀 随机 数 序列 {xz}. 记 一 
阶 算 .二 阶 和 类 和 方差 的 观察 值 为 


= 让 Dz 于 二 让 
N 了 
“一 方 忆 (= 一 委 | 
计算 它们 的 期 望 值 与 方差 分 别 为 ， 
E(X) 一半， D(X) = TN ECXD) = 笠 ， 
DX = hi ECG) = 十，D(sh) = 二 


由 中 心 极限 定理 知 , 当 六 充分 大 时 


ER VizH|X 一 二) 
1 D(X) + 


ws 一方 V5N| 邓 一 字 )， 


ws 一 visoN|s 一 十}- 
放 近 服从 NC0,1) 分 布 . 据 此 可 用 统计 量 zzz 及 ww 分 别 对 
忱 ,及 s? 作假 设 检验 . 
方法 34. 2.5 均匀 性 检验 方法 如 下 : 
把 [90,1] 分 为 个 等 区 间 , 按 {x;} 取 值 落 在 那个 区 间 分 为 此 


组 , 设 有 六 个 随机 数 在 | 二 二 ,二 |,G=1,2， 避 , 零 假 设 九 :和 
落 在 每 小 区 间 概 率 P, 一 二 . 当 于 。 成 立时 ,统计 基 


次 二 睾 》 一 全 ， 
斯 近 服 从 六 合 一 1) 分 布 ,统计 量 
1 | | MN 
“ND = me 2 一 全 


渐 近 服从 科 和 尔 莫 戈 罗 去 -斯 米尔 庶 夫 名: 分 布 . 取 显 著 水 平 a=0, 
05, 当 wwDpxv1,35 时 ,拒绝 五 ,. 

方法 34. 2.6 相关 系数 检验 ”相关 系数 为 0 是 两 个 随机 变 
量 独 立 的 必要 条 件 . 这 可 用 来 作为 前 提 检 验 随 机 数 的 独立 性 ， 

记 前 后 相距 为 了 的 相关 系数 为 


MN—1 
B= we /sj 2 


取 五 op 一 0, 对 充分 大 的 NG 一 /50) 统 计量 一 六 YN 一 j 渐 
近 服 从 NC0,1) 分 布 . 
方法 34.2.7 联 列表 检验 在 和 7 平面 上 ,将 单位 正方 形 分 
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为 起 个 相等 的 小 正方 形 , 把 随机 数 序列 {z)} 按 出 现 的 先后 顺序 两 
两 分 组 . 如 联 (x sy) 下 {Ts see sy {Tw. i yw) 9 Crm ;x 作为 
点 的 XX-Y 坐标 . 记 落 人 小 正方 形 人 让 内 的 虚数 为 ri £1 = 1,2, 


wi 是》， 令 Ds 二 并. 一 DN = > Dn 取 Ho: {x;} 相 
互 独立 , 当 互 。 成 立时 ,统计 蕙 
x = ND D1 


rl j=t 


沸 近 服从 分 布 [一 1)?1 


34. 3 ”随机 变量 及 随机 向 重 模 拟 


上 节 所 造 的 随机 数 是 [0,1. 均 匀 分 布 随机 数 , 简 称 为 均匀 随机 
数 . 本 市 的 利 的 是 要 在 上 节 的 基础 上 ,构造 出 具有 事先 给 定 的 分 布 
函数 R(z) 的 随机 数 , 这 种 数 称 为 下 (xz)-- 随 机 数 ,如 已 C(z?》 有 密度 
函数 (x) ,那么 也 称 它们 为 (x) 一 随机 数 . 设 随 机 变量 ? 的 分 布 
函数 是 F(x) ,所 谓 对 ?了 的 模拟 就 是 要 构造 若干 个 与 了 同 分 布 的 
F(Z) 一 一 随机 数 ; 从 概率 论 中 易 知 ,对 于 分 布 为 R(x) 的 随机 数 ， 
都 可 从 均匀 随机 数 经 过 一 些 变换 得 到 ,可 见 均匀 随机 数 的 产生 是 
随机 模拟 的 基础 . 下面 ,分 别 给 出 离散 型 随机 变量 ,连续 型 随机 变 
量 及 随机 向 量 的 模 氮 . 在 本 节 记 天 为 [0,1j 上 均 名 分布 的 随机 
变量 . 


34. 3. 1 离散 型 随机 数 


设 随机 变量 ? 的 分 布 律 为 
Pn = a,) = P,, n= 0,1,2,-.， 


其 中 0 二 已 一 1 DP =10€ RR. 令 [1 = 0 = Dp 


NH 二 向 1 一 丘 
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起 产 0 显然 成 立 事件 间 等 式 
(和 一 Gy 一 人 雪上)， {34, 1》 
k= 0,1,2,. 

方法 34. 3.1 模拟 步骤 如 下 ， 

(1) 取 均 色 随 机 数 区 =x,. 

(C2) 车 Sp < < Dp 
则 得 了 的 第 7 个 抽样 值 ,有 一 asy {4%} 即 为 所 求 ， 

我 们 以 泊 梳 分 布 为 例 , 说 明 对 一 些 特 殊 的 离散 分 布 ,如 几何 分 
布 .二 项 分 布 . 超 几 何 分 布 等 ,从 它们 的 概率 意义 出 发 ,可 设计 和 上 
述 不 间 的 一 些 模拟 方法 . 

例 34.3.2 设 随 机 变量 ?服从 泊 松 分 布 , 即 
PG9 一 四 一 生 e-oa 一 0,1,2，… 目 A 人 0 

设 均匀 随机 数 序列 {X;} , 令 


nm 二 1 
=")= {IIX<e eIIX) 
1 二 自 下 


下 一 min {n: Tx. < e 一 |. 
方法 34.3.3 具体 槛 拟 步 台 如 下 :; 
(1) 计算 ee 下 , 令 i 一 0,S, 一 1; 
(2) 选取 伪 随 机 数 zx ; 
(C3) Hiri = * Kis 
(4) 若 59<e 转 入 (6) ,否则 转向 (5)3 
(5) 以 z 寺 1 代 妆 5 代 5; 转向 (2); 
(6) 令 ?一 六 则 关 即 为 所 求 的 泊 松 分 布 随机 数 的 一 个 取 值 , 重 
复 上 述 步 又 即 得 所 求 . 
了 28。， 


34. 3.2 道 变 换 方法 


设 已 给 分 布 函 数 为 (zr), 设 (x) 为 连续 函数 , 记 它 的 反 函数 
为 下 -1(z)， 令 3 一 BIGCz) ,其 中 了 为 均匀 随机 变量 , 则 易 证 ,随机 
变量 了 的 分 布 还 数 恰 等 于 下 Cr). 可见 (x) 一 一 随机 数 可 自 均匀 
随机 数 经 过 道 变换 获得 . 但 实际 上 , 仅 当 FF ' 能 明确 地 用 解析 式 表 
达 时 才 便 于 应 用 . 

例 34.3.4 指数 分 布 “指数 分 布 函 数 开 (z) 一 1 一 ez 站 
CC>0 为 常数 ) 

令 开 二 1 一 e". 解 出 7 一 一 计 In(1 一 下 ), 此 时 F711( 外 ) 一 
一 立 In(1 一 X), 因 XX 是 均匀 分 布 ,那么 1 一 XX 亦 是 均匀 分 布 ,因此 
上 式 可 用 好 代 1 一 和 X, 得 

7 二 一 A "InX， 《34. 27 

故 只 要 产生 均匀 随机 数 {r) ,由 变换 (34. 2) 即 得 指数 分 布 随机 数 


{人 》. 
例 34.3.5 韦 布尔 分 布 其 概率 密度 函数 为 


fr) 全 , 日 了 产品 


其 中 a>0 及 B82>~>0 是 分 布 的 尺度 和 形状 参数 ,位 置 参数 设 为 
0. 其 分 布 函 数 为 Gr) 一 1 一 e zz0. 


令 


FO 一 1 一 er = 大 
解 得 ?一 上 [一 In(1 一 买 )]52. 以 买 伐 1 一 生得 
7 = a lntl — XY (34, 3) 
利用 (34. 3) 及 均匀 随机 数 {z,} 可 产生 韦 布尔 分 布 的 随机 数 { 办 }. 
对 于 道 变换 法 有 时 由 于 F(x) 的 表达 式 复杂 而 难于 求解 . 下 面 介绍 
儿 种 方法 ,不 需要 求解 (zx) 的 反 函 数 . 
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34. 3,3 筛选 法 


此 法 的 实质 是 从 许多 均匀 随机 数 选取 一 部 分 ,使 鹃 出 的 那 部 
分 满足 指定 的 A(x) 一 随机 数 . 它 可 用 于 产生 任意 有 界 的 随机 数 . 

例 34.3.6 筛选 法 (sieve method) 

设 7 为 在 (a,b) 中 取 值 的 随机 变量 ,其 密度 为 A(z). (此 时 


| fondr = 1) ,选取 常数 a 使 af(x) 之 1,x E€ ,又 设 并 , 闷 


为 相互 独立 的 L0,1] 上 均匀 随机 变量 , 则 守 一 2 十 起 一 4 天 是 
[Lasb8] 上 均匀 随机 变量 ,规定 筛选 规则 如 下 :如 有 关 : 所 afCY1) 则 
令 引 一 YY; 否则 舍 去 这 一 组 (XXX ) ,并 重新 产生 一 组 [0,1] 上 均 
匀 随 机 变量 {独立 ) ,直到 式 : 委 af( 了 I ) 满足 又 产生 一 个 了 的 样本 ， 
如 此 重复 ,就 得 到 ?了 的 样本 列 . 其 统计 密度 视 为 F(x). 

例 34.3.7 8 分 布 的 模拟 分 布 随机 变量 的 密度 为 


TO 
TOITOA) 


其 中 >0 及 40 为 二 参数 ,而 
To) = | edz 


fr) 一 Ti 一 X00IE1， 


记 M=maxf tr) = f(r) | e104 a 
模拟 落 允 如 下 : 
(1) 由 7 和 计算 MM; 
《2) 产生 [L0,1j 均 名 分 布 伪 随 机 数 riyzrz 
(3) 检验 不 等 式 , 如 


TM fT1) [Ot 


~ FOYT 
则 取 ?=x 作为 了 B 分 布 的 随机 数 ; 否 则 侈 去 zx1,xz, 再 转 入 步 又 
(2), 则 ?了 为 8 分 布 随机 数 ， 
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(1 一 1 1， 


34.3.4 分 段 逼 近 法 


方法 34.3.8 分 段 下 近 法 {pjecewise approximation 
method) 设 分 布 函 数 集中 在 [a,j, 将 [a,6] 分 为 等 分 ,分 点 为 
二 QA 一 下 (ar) 将 [0,1] 也 分 
为 # 个 小 区 间 , 使 第 i 个 区 间 端 点 为 c;_ jyc 且 ci 一 ci 一 p; 现 任 取 
[0,1j 上 随机 数 x, 着 cj, 达 XX 所 ci;, 则 令 
有 一 Gil (a gL1) 一 2 ， 
当 := 充分 天 ,可 近 伏 认为 了 是 刁 Cz) 一 - 征 机 数 . 

若 玉 (z) 是 定义 在 无 穷 区 间 (一 ce， 十 ce)? 上 ,那么 对 充分 小 的 
e>>0, 总 可 选取 [4,58] 使 (6) 一 F(a) 实 1 一 e. 然后 在 Fa,&8] 上 运用 
上 述 方 法 . 


34.3.5 正 态 分 布 N(00,;1) 随 机 数 的 产生 


正 态 分 布 使 用 闫 繁 ,这 里 介绍 三 种 产生 正 态 分 布 随 机 数 的 
方法 ， 

方法 34.3.9 筛选 法 ”产生 步 又 如下: ， 

(1) 产生 E50,1J 上 均 负 随机 变量 X,,X;. 

《2) 计算 说 一 2 天 一 1 一 28 一] 及 s 二 Vi 十 Vi 

(3) 若 <1, 转 向 步骤 047 否则 转向 (13# 
《4)》 计算 4 一 | 2 可 | ,=V,A,g=VA, 

则 后 ,了 为 N(0,1) 的 随机 变量 , 此 法 精度 高 ,由 Box-Mulles 
提出 ， 

方法 34. 3, 10 变 模 法 (transformation method) 设 买 和， 


是 [0,1] 上 均 名 随机 变量 ,相互 独立 , 则 


Zi = VY— 2lnX,cos2nK,, 
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7 一 所 一 2nhXsin2X 
易 证 Z1,Z; 是 相 专 独立 的 N(0,1) 分 布 的 随机 数 ,此 法 计算 量 一 般 
较 大 . 

方法 34. 3. 11 近似 法 (approximation method) 设 K| ,XX;， 

…, 苹 ,是 [0,1] 上 均 名 分 布 ,相互 独立 的 随机 变量 ,由 中 心 极 限定 
理 知 , 当 nn 充分 大 时 ， 

Z = 并 -记者 
近似 于 NC0,1) 分 布 . 通常 取 2 一 12. 即 艺 = 苇 , 十 于 十 … 十 已 一 
作为 N00,1) 的 近似 . 


34. 3. 5 随机 向 量 的 模拟 


设 2 维 随 机 宁 量 一 《8 ,62， 5 它 的 概率 密度 Fxis ras 
… ,XT ) 可 写成 
Fxg ra) = f(r Cr |r ) fr Nr re) 
Fr er Ts); {34. 4) 
其 中 A(z) 是 总 的 边缘 分 布 ,f(zilzry，… ,Ti_1) 是 在 各 二 ze 世 .， 
一 fi_1 条 件 下 , 的 条 件 分 布 密度 . (34.4}) 启 示 模 拟 6 的 方法 , 即 
先 选 出 f(z) 随机 数 yi, 以 Yl 代入 f(zz|z1) 中 的 Zz1! 得 一 给 
定 yx 的 一 维 密度 六 zs) 青 得 .Fr 一 一 随机 数 ys;,… ,如 
Yl ,yz29 "yi_1 这 确定 ,再 造 上 出 Fx ly yi 1 一 一 随机 数 yi; 所 得 
Cy sym) 是 (5, 各 ,…' 司 ) 的 模拟 . 
对 离散 型 随机 向 量 的 模型 可 类 似 作 出 . 
方法 34. 3. 12 n 维 正 态 模 拟 的 简便 方法 ”对 维 正 态 分 布 
的 随机 向 量 有 下 列 的 简便 方法 . 设 上 (联合 密度 
1 ere ix! ， 
{2x)Y | 如 13 
其 中 四 = 《xiyxos"r yzn) ,BB 一 t65) 为 n 维 正定 对 称 和 矩阵 , 易 知 ES 
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F(x sa” 全 


一 0,EEE, 一 5 现 取 x 个 相互 独子 的 一 维 N(0,1) 正 态 分 布 随机 变 
量 甘于 和 作 变换 

YY, 一 ani), 

了 = Ca 有 | 十 dg;s 


《34.5) 

Y, = a 十 cs 十 … 十 Gn 并 ,s 
其 中 a; 满足 

bi = Yaran (= min(,i)), (34.6) 

££ 二 1 
即 有 
,1 
a 二 bY aa 一 bo,, 二 | ， C34.7) 
而 11 


1 


一 般 ， 如 已 求 出 LL pp hs 订 由 C34. 6) 求 出 E11ls 
人 E121 故 5ei 六 由 如 二 (bi) 决定 ， 这 样 从 机 维 N(0, 了 7) 的 
伪 随 机 数 和 拓 量 (zx,… ,x,}) 得 到 模拟 芋 的 一 个 伪 随 机 数 序 列 Cy， 


“Ya, 


34. 4 ”随机 过 程 的 模拟 


以 下 介绍 常用 的 几 种 稳 机 过 程 的 模拟 ， 
34. 4. 1 马尔 可 夫 链 的 模拟 


方法 34. 4.1 离散 时 间 马 尔 可 夫 链 的 模拟 ” 设 {Y,,a 产 0)} 是 
电 尔 可 去 链 ,万 的 一 步 转移 矩阵 了 一 (pi) ,状态 空间 S 二 {0,1,2， 
,初始 分 布 下 一 (rorly， Ns ), 模拟 步 又 如 下 : 


C1) 任 取 [o, 1 均匀 随 机 数 zo 如 2 之 训 所 >, 取 
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po 一 中 0 


(2) 再 取 fo0,1] 均 匀 随 机 数 zx; ,如 之 ;pi 去 所 2 Pus 取 


1 一 下 1 
《3) 一 般 地 , 设 y= 二 :已 确定 , 青 取 [0,1] 上 均 句 随机 数 


R 


十 ] ;如 D3 prs 1 所- pw, 取 Yat1 = atl” 
这 样 模 拟 得 到 的 {Y;,x 实 0} 即 所 求 的 蕊 尔 可 夫 链 的 一 条 轨道 . 
方法 34.4.2 连续 时 间 马 尔 可 去 链 模拟” 设 连 续 时 间 蕊 尔 
训 夫 链 {Y,,t 渤 0} 其 转移 率 和 矩阵 如 = (9;)) ,初始 分 布 
元 二 《rose 状态 空间 3 一 10，1.2，-…)}， 


记 全 一 py Fi pu—0. 
模拟 步骤 设 {0;,,x 守 90} {Vi,n 字 1} 为 相互 独立 ,[0,1] 上 均 
匀 随 机 数 序列 . 


加 一 上 


二 
(DD) 如 Dr 之 Uo xi* 取 2o 一 如, 且 取 说 一 一 ganW. 
hk 一 个 


二 一 1 和 
C2) 如 2 prs < UO < 2 pa? 了 有 一 Ris 且 取 TT 一 
一 qn nV,, 
各 +1 一 | tt] 
《3) 如 > Pri < Ur 扫 Dpai; 取 Zl 二 上 11:4 且 取 Tj 
= i=0 
一 一 GEr1lnY ai: 


(4)》 令 避 一 0 当 上 人 [mn 定义 及 一 把， 
7 二 位 『 一 峰 
则 {他 ,2 写 0} 即 为 所 求 的 马尔 可 夫 链 . 
注 34.4.3 若 记 一 1，pi 一 0 二 1 0 一 0 1 2 mm)， 刚 
{7o20} 是 泊 松 过 程 . 
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34. 4. 2 宽 平稳 序列 的 模拟 


方法 34. 4.4 宽 平 稿 序 列 的 模拟 设 宽 平稳 序列 {X(Ca)， 
np) ;EXCtn) 一 0, 协 方差 落 数 为 R,, 令 
有 (1) 二 cD 十 cos 十 二 CaN， 
(2) 一 ch 十 cp 十 十 Ctrls 


4 (34.8} 
KEY 一 on Cems hl 


XA) = op cop 二 二 Calas 1s 
机 变量 ,通常 可 取 { 肥 ) 为 独立 的 [一 ,有 上 均 句 随机 数 , 方 莽 汶 
pp: 


本 Re 或 取 为 独立 的 NC0,Ro) 随 机 数 ,c(t1 坟 iw) 可 由 下 列 方 
程 组 
Ri_1 一 Rolcicse 十 Cattrl 十 十 eolico = 1 opn, 
{34, 9) 


解 出 代入 (34. 8) 即 得 所 需 的 平稳 序列 {Zn) az0)， 
对 于 宽 平 稳 过 程 模 氢 ,可 用 宽 平 稳 序 列 通 近 . 


34. 4.3 平稳 正 态 过 程 的 模拟 


方法 34. 4.5 平稳 正 态 马尔 科 夫 i 过程 的 模拟 ” 设 {X() ,1 实 
0} 是 平稳 正 态 马尔 可 夫 过 程 ,其 协 方 盖 函 数 为 BC(r) 一 ote- 
(om0,8>0 常 数 ? 且 EX(t) 一 0. 在 电子 计算 机 土 模拟 {XX() 之 
0}, 只 能 得 到 有 限 或 可 列 多 个 随机 变量 , 记 X,. 一 XC(nAt) ,nn 一 1,2， 
CAz 为 常数 ). 应 用 上 节 结 果 , 模 拟 {XX。 x 守 0} 步 又 如 下 ，; 

(1) 产生 相互 独立 的 NC(0,1) 分 布 的 随机 数 (y， xn 宇 1}). 

(2) 计算 


”735“。 


Ki 一 ge 十 gw 一 
{sn 宇 1}) 即 为 所 求 . 

方法 34.4.6 平稳 正 态 过 程 的 模拟 设 {XGQ),t 守 0} 为 平稳 
正 态 过 程 (22, 4.1) 其 协 方差 晴 数 为 Bs{lr) 一 ole tcoswrtg>0， 
>0,w>0 常数 )EX()==0. 

模拟 步 又 ”由 方法 34. 4.5 中 模拟 方法 产生 两 个 独立 的 平稳 
正 态 马尔 可 去 过 程 古人 天 避 s(7), 司 其 ER) 一 EFEX,(7) 二 0, 协 
方差 国 数 均 等 于 ste-M"1; 再 计算 人 EG) 二 XE (tcoswy 十 六 KC)sinwt， 
则 {下 (tf) 这 0} 即 为 所 求 的 过 程 . 
34. 4. 4 ” 维 纳 过 程 的 模拟 

方法 34. 4.7 维 纳 过 程 的 模拟 设 {X()》 i 六 0} 为 维 纳 过 
程 , 取 离散 化 大 长 为 At, 记 站 ,一 久 (nAL). 模拟 {XX。 # 宇 0} 的 步 又 
如 下 : 

(1) 产生 相互 独立 的 NC(0,1) 随 机 数 {W。 n 宇 1). 

(2) 计算 二 gv AtW ,二 1 十 ov AW, (Xo 一 0), 则 ({ 芒 ， 
nn 这 0} 即 是 所 求 . 


34.5 统计 试验 法 


统计 试验 方法 又 称 蒙特 卡 罗 (Monte Carlo 方法 ,是 一 类 通过 
随机 变量 的 统计 试验 .随机 模拟 ,求解 数学 物理 .工程 技术 及 经 济 
管理 近似 解 的 数值 方法 . 

为 说 明 统 计 试验 法 的 基本 思想 ,这 里 通过 一 个 简单 的 积分 计 
算 问题 作为 例子 . 


34. 5. 1 积分 的 计算 


例 34. 5.1 计算 积分 定 积分 计算 , 设 0 二 glx) 过 1, 计 算 
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积分 | ecz)dz 全 二 . 
， 


模拟 的 基本 思想 ”积分 等 于 由 曲线 y= 二 g(x)、x 轴 ,y 轴 及 
x 二 1 为 边界 转 成 的 面积 ( 见 图 34. 1), 为 用 蒙特 卡 罗 (Monte 
Carlo) 方法 计算 积分 了, 我们 在 单位 正方 形 (0 筷 z+ 所 1,0 态 y 所 1) 
中 ,随机 地 投掷 一 点 , 即 它 的 两 坐标 (zy) 都 是 [0,1] 均匀 分 布 的 
随机 变 基 且 相 互 独立 . 易 知 ,这 一 随机 点 (zyy) 落 在 所 求 区 域 中 
( 即 ?所 ECz)) 的 概率 尸 正好 等 于 7, 即 


J 一 [edar 二 PP 
4 


若 重 复 上 述 试验 = 次 , 即 随机 地 投掷 = 个 点 , 今 
], 第 ; 次 授 据 点 (zy 满足 ysSECz)， 
0, 如 第 i 次 投掷 点 《zy 满足 VECL) , 


则 忆 太 表 示 投 按 点 落 在 所 求 区 域 的 次 数 ,Q, = 二 > 了 表示 相应 
的 频率 ,由 强大 数 定律 有 了 P(imQ, = P) = 1, 故 当 充分 大 时 ,以 
概率 1 ,有 


孚 一 


0 iT 
J=Pa0Q,= #2 


且 EQ,=v. 因而 我 们 用 和 @. 作为 所 求 量 的 估计 值 ,Q, 可 用 试验 

求 得 .由 上 说 明 , 人 为 构造 一 种 概率 模型 ,使 它 的 统计 试验 的 某 些 

特征 数 (如 频率 ,样本 均值 等 ) 作 为 所 求 量 的 估计 值 ,这 便 是 蒙特 卡 
“737。 


罗 方 法 的 基本 思想 . 
精度 以久 ,近似 J 如何 考虑 它 的 精确 度 =, 通 常 要 看 Q; 的 


方差, PQ, = JC1 一 万; 或 用 样本 方差 号 一 二 > (如 一 Q.)* 作 


估计 ,也 可 用 概率 来 刻画 :给 定 n 与 六 0,; 求 PCO@. 一 /< 达 6)==? 友 

之 ,给 定 e 及 0<a<il. 问 应 取 多 大 的 ,使 |@, 一 < 之 e 的 概率 不 小 

于 忆 一 和) , 即 要 求 n 使 
PO 一 J| 二 引 守 1] 一 {34. 10). 


由 中 心 极限 定理 及 上 式 可 得 
-中 -。 /| la, 
J(1—J) 


Pdle.-7i<eove|。 a 
NY Jl) 


其 中 BCx) 一 谍 |. ee- 本 du 令 名 (zs) 一 凶 ( 一 了 一 1 一 


“, 于 是 给 定 模拟 精度 <, 所 需 的 模拟 次 数 由 下 式 给 出 ， 


n 六 《和 用 4. 《34. 11) 


(34. 11) 中 的 ,可 用 试 算 若干 次 后 的 估计 信 代 替 

步 又 “用 统计 试验 法 求解 一 实际 问题 的 大 致 步 曼 如 下 ， 

(GD 根据 问题 ,构筑 模拟 概 型 ,使 它 的 若干 数字 特征 丛 好 是 所 
要 求 的 量 ; 

(2) 根据 问题 的 特点 ,设计 及 应 用 降低 方差 的 各 种 方法 ,加 速 
模拟 的 收 伍 速度; 

(3) 给 出 概 型 中 各 种 不 同 分 布 随机 亚 量 或 随机 过 程 的 抽样 
方法 ; 

(4) 统计 处 理 模拟 结果 ,给 出 问题 的 解 及 解 的 精度 估计 . 

方法 34. 5. 2 “平均 值 方法 “在 模拟 中 为 何 提高 精度 而 不 增 
加 模拟 次 数 ? 或 降低 = 又 能 保证 精度 ? 下 面 用 另 一 平均 值 方法 计 
算 积分 @ 一 | g(x)dx 为 例 说 明 这 个 问题 取 一 列 相互 独立 , 同 在 


*， 738。， 


Fe 0] 人 ;, 则 辱 


Eg(é,) = Q 


二 | godz = Fi 《34. 12) 


到 六, 一目 Dg(&) - (6 一 a) 作为 Q 的 信 计 , 则 有 EQ, Q, 及 
加 Plim®, = Q) = 1. 
方差 为 
DO'.= 


了 


一 二 [6 一 a| zc)dz 一 (| scodz] 1] C34. 13) 
注 34. 5.3 不 同 神 拟 方法 的 比较 车 要 比较 用 不 同 统计 试 
验方 法 计算 | acydz 时 的 方差 . 则 由 (34. 13) 知 , 取 &s>1 如 以 


&2 代替 (34. 13) 式 中 的 &(z), 方 郑 就 降低 刀 倍 . 方差 小 则 精确 


度 高 ,并 使 运算 次 数 减少 ,计算 速度 加 快 , 故 在 蒙特 卡 罗 方 法 中 ,如 
何 降低 方差 是 一 重要 问题 . 易 证 , 当 e 一 0,5 一 1;g(z) 扫 1] 时 , DDO, 
二 DQ,, 即 用 方法 34, 5. 2 较 有 效 . 

方法 34. 5.4 ”多重 积 分 计算 上 述 二 种 方法 易于 推广 应 用 
于 计算 多 维 重 积分 . 记 一 (zze) 为 mm 维 空间 如 " 中 中 点 ， 
8(X) 为 m 维 函数 , 它 在 闭 域 DCR" 上 可 积 , 为 计算 


J 二 | ECrJdr 一 | gs Grid 
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取 [a.5],86 一 a 充分 大 ;使 DCFayb]x[aibjx' x[a ‘全 [a 
取 吉 个 独立 ,在 [a,5] 上 均匀 分 布 的 随机 变量 记 ,&,-…,&,, 记 9 二 
(1s Fas ,Fs ), 
多 重 积 分 计算 的 模拟 步 又 ， 
(1) 产生 一 列 政 立 的， 在 [a,58J" 上 均 名 分布 的 m 维 随机 向 量 
人 
“7 了 739。 


(2) 如 #0ED, 就 取 #7, 并 记 放 一 7; 如 909ED, 就 会 弃 
7 

如 此 共 选 取 = 个 和 , 记 岂 一 1D| ,二 (80) ,其 中 | 万 | 为 
DD 的 mm 维 体积 , 取 .7, 作为 了 的 估计 和 值 . 
易 证 E71,=J, 且 PimJ; = J) =1. 
34. 5.2 线性 方程 组 的 解法 


方法 34. 5. 5 一 般 线 性 方程 组 的 解法 ”为 解 线性 方程 组 
Diz, — dd, i= 1,2, on. 《34, 14) 


考虑 二 次 型 
OOF) QT ys Ts) 
一 > “| cm — di)’, {34.15) 

这 里 @ 六 0 常数 ,x 一 (zi yx" yn), 显然 , 求 (34.14) 的 解 等 价 于 
求 名 (的 最 小 点 (zi zi 设 任 给 常数 4>0, 记 五 一 
{二 《es Cr) 入 A4} 是 nn 维 桶 球 , 作 w 维 立 方 体 
[Lab 第 ECEfa,bj". 设 名 ,5,…, 世 是 La;58j] 上 均匀 分 布 5 个 独立 
的 随机 变量 , 记 Z= ($1 ,rE.) 为 nn 维 随机 向 量 . 求 <34.14) 的 
解 (z 个 ,… ee ) 步 纹 如 下 : 

《1) 取 i 个 独立 的 维 随机 向 量 2% ,2 ,…* ,2 

(2) 车 ZEE, 取 2m, 记 为 和 ;如 ZEE, 就 合 守 2 路 ,如 
此 重复 共 选 取 x 个 (m0) ,不 妨 记 为 让 下 ,让 其 中 让 
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3) 取 从 Cm) 一 让 
作为 名 的 估计 (部 以 zj(m) 作 为 zi? 的 近似 }, 则 有 EX,Cm) 一 
* 740* 


7 一 .2 是 PlimX,(m}= 7 )=1. 
方法 34. 5.6 某 些 特殊 的 线性 方程 组 的 解法 ” 设 方 程 组 为 
X= HX+A, 《34. 16) 
其 中 ={r rs a) 可 一 (RD Xn ,成 二 (al sada da) 设 iH 


矩阵 ,4 向 量 为 已 知 ,求解 未 知 向 量 . 记 | 到 | = max Dh, . 
下 面 在 假定 1 如 | 一 1 条 件 下 用 蒙特 卡 罗 方 法 求解 (34 16), 

我 们 定义 一 个 马尔 可 夫 链 ; 任 取 一 矩阵 了 二 (pi)wx 满足 pi; 宇 

Dp 过 1,py 这 0 车 有关 0, 令 P= 二 1 一 Dp 《如 a 一 0 则 取 


p; > 0). 模拟 一 马尔 可 夫 链 ,使 它 的 一 步 转移 夭 阵 为 P 二 Cpis). 
模拟 步骤 : 
《1) 仿照 方法 34. 4 1, 模 拟 以 正 一 (加 ) 为 转移 概率 矩阵 的 马 
尔 可 去 链 . 
(2) 设 模拟 的 运动 轨道 全 记 为 
Ti 
表示 从 出 发 ,经 下 步 后 停 在 状态 i, 全 守 0,i 一 io). 定义 一 个 轨道 
函数 
A Ri, hs; i 
Vr) -全 pi pon pr 如 k> 0 (34.17) 
a pis 如 是 一 站 
《3) 独立 地 按 上 述 方法 模拟 mw 次 (从 1; 状态 出 发 ) ,得 到 个 
轨道 7 , 按 (34.17) 计 算 相 应 的 轨道 萌 数 了 (TD ,二 1 ,2,…',m 


(4) 以 zilm) = 1 yyver, 作为 方程 组 (34.16}) 解 x? 的 估 
计 值 . 
易 证 了 中 二 CriCm)) ,上 ;表示 自 i 出 发 的 条 件数 学 期 望 . 


此 方法 的 特点 是 每 个 zf” 可 单独 求 之 ,无 需 同时 算 其 他 的 
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z 所 .本 方法 亦 可 求解 其 些 类 型 的 积分 方程 . 
34. 5.3 某 些 偏 微分 方程 的 解法 


这 里 仅 以 用 蒙特 卡 罗 方 法 求解 拉 普 拉 斯 方程 作为 重子 ,说 明 
它们 的 基本 思想 与 步 又 . 
方法 34. 5.7 求解 平面 上 的 拉 普 拉 斯 方程 设 方程 


2 2 
ou 5 = oz EG, (34. 18) 


dx 

u(r) = fr yr y) EE T= a0. 
要 求 w(ryy) 一 w(t&) 当 afG 时 ,使 uw(a) 满 足 方 程 (34.18), 当 
EEG, 而 在 的 边界 厂 上 满足 ta) 二 fla),aE€ 玉 ,这 里 下 为 已 知 
函数 . 

用 电子 计算 机 求 微分 方程 的 数值 解 ,一 般 雪 用 网 络 法 离散 化 

微分 方程 变 为 对 应 的 差分 方程 , 设 G 上 的 网 络 步 长 为 上 ,C 离散 化 
后 的 边界 为 已 ,G 中 的 结 点 记 为 G1 对 应 方程 (34. 18) 的 差分 方 


程 为 
4 
W{#) 二 一 ia) 让 厄 Cn， 
| 4 和 2 " (34.19) 


ula) = f(a), at€ TD. 
其 中 ajG=1,2,3;4) 为 结 点 a 的 四 个 相 邻 结 点 {如 图 34, 2). 
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方法 34. 5.8 模拟 概 型 如 下 : 

(1) 考虑 自 结 点 a€G 出 发 在 平面 网 络 结 点 上 随机 游 动 的 质 
点 膨 , 它 下 一 步 到 达 四 相 邻 结 点 的 概率 各 为 1/4, 再 下 一 步 义 同样 
以 174 的 概率 到 达 四 个 相 邻 结 点 之 一 ,如 此 继续 ,直至 首次 到 这 边 
界 媚 时 便 被 吸收 而 停止 运动 . 记 下 首次 到 达 边 界 的 点 5E Ti. 

(2) 独立 地 重复 上 述 随机 游 动 n 次 ,每 次 从 点 a 出 发 ,第 i 次 
首 达 边界 的 点 记 为 ETC 二 1 ,2). 


C3) 以 训 (a) 一 于 > 作为 ua) 的 估计 值 , 易 证 
Euta)) 二 uta);y 且 当 a 所 时 ,Ce) = 二 了 (Ca). 由 太 数 定律 有 
Pdlime,(a) 一 wta)) 二 1 这 说 明 当 ” 充分 大 时 ,atn) 是 满足 方程 
《34. 19) 的 近似 解 .注意 ,(34. 19) 的 解 实 际 上 依赖 于 大 ,但 当天 充 


分 小 时 , 它 近 和 似 于 (34. 18) 的 解 . 
《参见 [51],[2],[109]). 
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35 ”马尔 可 夫 决 策 过 程 
35. 1 引言 


吾 尔 可 夫 闫 策 这 程 (Markov decision processes ,简称 MDP) 
是 研究 由 一 系列 决策 (选取 行动 .措施 .方案 或 参数 等 ?控制 的 随机 
动态 系统 的 优化 问题 . 至 今 已 形成 为 介 于 运筹 学 与 应 用 概率 统计 
之 间 的 新 分 支 ， 

MDP 已 成 功 地 应 用 于 许多 领域 . 例如 设备 的 最 优 维修 更 换 问 
题 , 库 存 .排队 系统 .可 靠 性 工程 .控制 .搜索 ,管理 调度 . 序 贰 抽样 
及 质量 控制 等 的 优化 问题 ,以 及 自然 资源 合理 开采 .利用 ,经 济 领 
域 中 的 投资 .信贷 及 消费 的 最 优 控制 ,城市 管理 ,森林 管理 .渔业 管 
理 等 等 ， 

MDP 要 求 系统 可 周期 地 (离散 时 间 ) 被 观察 (或 连续 地 被 观 
察 ), 在 每 个 观察 时 刻 ,决策 者 根据 系统 状态 ,从 可 用 行动 集中 选用 
一 个 《 即 作 决策 ) 并 施加 于 系统 , 则 有 两 事件 发 生 : 

(1) 系统 状态 转移 律 的 确定 ,并 具有 马尔 可 夫 ( 无 后 效 ) 性 . 

(2) 可 得 到 一 定 的 报 柄 (或 费用 ) ,通常 它 仅 与 该 时 刻 的 状态 
及 采用 的 行动 有 关 ， 

决策 者 在 各 个 时 刻 选 取 行 动 的 目的 是 使 系统 运行 的 全 过 程 ， 
在 某 种 给 定 准 则 下 ,达到 最 优 运 行 . 

下 面 先 叙述 离散 时 间 MDP 模型 的 基本 构成 . 


”744。 


35.2 离散 时 间 MDP 的 基本 要 索 


模型 35. 2. 1 一 个 离散 时 间 MDP 模型 ,由 如 下 5 要 素 组 成 
《sry)， 

9 为 状态 空间 (state space), 它 是 系统 所 有 可 能 状态 的 非 空 
集 ,为 简单 计 , 设 5= 位 ,2,…,m} 为 有 限 集 . 

矶 为 行动 空间 (action space},ACi) 为 状态 i 可 用 的 行动 集 
ES) A)CA. 4 为 有 限 集 . 

9:E 一 (ea) 为 转移 概率 矩阵 (transition probability matrix) 
giita) 为 在 任 一 时 刻 1(1 一 0,1,2,…') 系 统 在 状态 i 采取 行动 a 的 条 
件 下 ,于 :十 1 时 刻 转移 到 状态 j 的 概率 , 它 与 系统 在 1 前 的 历史 无 
关 ( 即 马尔 可 去 转移 律 ) 也 与 时 刻 上 无 关 ( 时 齐 性 ). 具 有 

GAD FO gifey =1, i jEs,a€nh. 


r 为 报 番 函数 (reward function), 令 = {(i,a) :eaEAtEs!， 
:一 RR, R 为 实数 集 . 

rse) 表 示 在 任意 上 时 ,系统 于 状态 选用 行动 a 在 一 个 周期 
所 获得 的 报酬 , 称 为 报酬 画 数 . 

V 为 准则 (Ccriteria} ,或 称 目标 函数 (objective function) 记 五 
为 全 体 策略 集 (严格 定义 见 节 35.3), 则 V; 卫 Xs 一 R, 目 标 函 数 . 

给 定 一 策 栈 +EHH, 状 态 iES,V《xyi) 表 示 t 一 0 时 从 状态 i 出 
发 的 条 件 下 用 策略 x 的 目标 值 , 它 是 选择 和 衡量 策略 x 优先 的 标 
准 . 在 节 35. 4 将 具体 给 出 几 个 常用 的 目标 函数 . 当 (S,4,ar,7》 
确定 时 ,就 给 定 了 MDP 的 一 个 具体 模型 . 


35.3 策略 


定义 35.34.1 设 了 5 一 4. 则 称 了 为 决策 函数 (action 
。 YY495 。 


function) 或 称 确定 性 决策 规则 . 

对 iES,fG) 表 示 在 状态 i 选用 行动 ,f(YE 4. 全 体 决 策 函 数 
之 集 记 作 王 , 即 下 一 (FS 一 4). 

定 丸 35.3.2 决策 函数 序列 x 一 {forfirors feo} 称 x 为 确 
定性 马尔 可 夫 策 略 Cdetertministic Markov policy) ;其 中 大 EF 替 
示 t 时 决策 函数 (人 六 0, 下 同 ). 

全 体 确 定性 马尔 可 去 策略 集 记 作 II%. 

定义 35.3.3 车 z={f 六 …) ,其 中 FEE, 则 称 为 
确定 性 平稳 策略 (Cdeterministic stationaary policy); 记 作 产 CE 
F). 全 体 确定 性 平稳 策略 集 记 作 下 

为 引进 一 般 随机 策略 , 先 定 义 * 历 史 ”. 

定义 35.3.4 记 刀 二 (ioraosiyair oiioqe}, 称 如 为 系统 直到 
z 时 刻 的 一 个 历史 Chistory) ,其 中 局 ES,anE A(0Sn<t)， 

记 互 ,= {和 ) 为 系统 直到 时 刻 的 历史 集 . 

注 35.3.5 记 二 (，1Ap ia) 为 4 上 的 缕 率 分 布 . 即 
(a | 有 isi 为 已 知 历史 有 _1 及 + 时 状态 二条 件 下 选用 a 的 概率 . 

显然 ,nCalh wi) 芝 0, 且 > api 入 1; 对 任意 a E 

生气 马 


Ash 1 € Hsil E St 0. 
定 光 35.3.6 XA 二 {xemiTer NAes"): 称 x 为 策略 ; 即 w 是 
一 串 选 用 行动 规则 的 条 件 概率 分 布 序列 族 (mr 对 每 一 -1€ HH 
及 iiE5 均 有 定义 ). 
定义 35.3.7 Xx 二 {zorme* ym "…*};, 且 zt 满足 
xa | 有 isi) 一 mu(a|ii) ,对 及 有 aE€4， 
hEHI, iES, t20, 
即 x 与 历史 无 关 , 则 称 x 为 马尔 可 夫 策 略 .全 体 马 尔 可 去 策略 之 
集 记 作 Hw, 称 为 马尔 可 夫 策 略 类 . 
”车 zwC， 人) 为 退化 分 布 . 即 存在 六 使 本 (六 GD 一 1G20)， 
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则 记 z= {fo fi fe) EH 
定义 35-3.8 设 x= {mommy 年 克 一 toy 对 t 字 
0, 称 x 为 平稳 策略 ,全 体 平稳 策略 之 集 记 作 瑟 , 称 为 平稳 策略 类 . 
命题 35.3.9 HCINCH,CHI,NCAI.CHy CH. 
不 难 证 明 FF 包含 的 元 素数 目 与 HY 包含 的 元 素数 目 一 样 多 . 


35. 4 目标 函数 


记 瑟 及 A 分 别 表示 在 时 刻 : 系统 的 状态 及 选用 的 行动 . 由 于 
状态 转移 是 随机 的 ,选用 的 行动 也 可 能 是 随机 的 ,所 以 ,对 固定 t， 
2 4, 是 随机 变量 . 给 定 策略 x€ 卫 , 记 随 机 过 程 Z(r) 一 { 人 (74). 
EN,= {0,1 ,2,3.}). 

定义 35.4.1 当 xEHw 时 ,Z{x) 二 {了 yA) ytE No} 是 马尔 
可 夫 过 程 . 称 Z(t) 二 {(Y,,A).zE As} 为 采用 策略 x 时 的 马尔 可 夫 
决策 过 程 (Markov decision process). 

定义 35.4.2 称 {Ri(r) 会 r(Y,4)iEAo} 为 采用 策略 r 时 
的 报酬 过 程 (reward processes). 

常用 的 目标 函数 有 三 种 :有 限时 段 期 望 报酬 .折扣 期 望 报酬 和 
平均 期 望 报酬 ， 


35. 4. 1 有 限时 上 段 期 望 总 报酬 
十 六 35.4.3 给 定 xEDNiIEs NENo 1 记 


Vulrsi) = El PRY 一 中， 

VwtA, i 表示 用 策略 z, 寿 :0 时 系统 从 Yo=i 出 发 条 件 下 ， 
直到 时 刻 入 的 期 望 总 报酬 Cexpectation total reward). 记 Vw (x) 
一 (Yufmr lo Vai) Vn rm))), 

定 光 35.4.4 以 Ynw(r) 为 日 标 函 数 的 MDP, 称 为 有 限时 段 

“和 7 


模型 . 
注 35.4.5 E.(，) 表 示 采 用 7 时 定义 的 概率 空间 的 数学 期 
望 : 下 同 ). 


35. 4.2 折扣 期 望 报酬 


定义 35. 4- 6 折扣 期 望 报酬 (expected discounted reward) 


Von) — El DPR MY, = i], 
4 一 站 


称 Var 为 采用 策略 <, 在 Ye=; 条 件 下 的 折扣 期 望 报酬 . 

Ven) 一 CV g(r Vetr,i) Var)) 为 折扣 期 望 报 
酬 向 量 ， 

以 Yat) 为 准则 的 MDP, 称 为 折扣 模型 , 称 8 为 折扣 因子 
(discounted factor) ,表示 时刻 1 单位 报 柄 折合 为 时 刻 0 时 的 序 
单位 报酬 . 


35. 4.3 平均 期 望 报酬 


定义 35.4.7 平均 期 望 报酬 (expected average reward) 给 
定 xEH,iES5, 记 
V(x) 

N+ 二 1? 

称 T(r,z) 为 采用 策略 x, 在 了 ,一 i 条 件 下 的 平均 期 望 报 翻 ， 

称 Y(r 一 (rr Firoa))7 为 平均 期 望 报 酬 向 
. 量 . 以 让 (x) 为 准则 的 MPP, 称 为 平均 模型 . 

例 35.4.8 设备 最 优 维修 策略 问题 设 等 周期 (如 一 天 ?地 
观察 一 台 设 备 运行 ,每 次 观察 时 ,机 器 只 可 能 取 二 个 状态 之 一 : 正 
常 运行 ( 记 为 1) ;发生 故障 ( 记 作 2).5S 一 {1,2}) ,处 于 正常 状态 的 可 
用 行动 只 有 一 个 一 一 不 修理 继续 运行 , 记 为 和 :处 于 故障 状态 ,有 
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kr) = lim inf 


二 个 可 选 行动 : 快 修 ( 记 为 az》 常规 修理 ( 记 作 as). 于 是 4(1) 一 
{a } "站 (2) 二 {qryds} yA 各 二 {a sssda} 4 本 与 > 列 于 表 35. 1. 


表 35.1 


由 表 35. 1 可 知 ,qiz(a1) 一 0.3 表示 在 正常 状态 下 选用 不 修理 
继续 运行 决策 时 ,系统 下 一 周期 转 到 故障 状态 的 概率 为 0. 3. 

rt1;41) 一 10, 表示 在 一 周期 若 正 常 运行 可 得 收益 10 元 . 若 令 
了 OD 一 wtf(2) 一 az' 则 了 表示 当 系 统 状态 为 1 选用 行动 a1, 当 状 
态 为 2 时 ,选用 行动 uy;g(2) 一 a 表示 系统 状态 为 2 时 选用 a;， 
等 等 . 


35. 5 有 限时 段 模型 


35. 5. 1 模型 与 最 优 策 畴 


定 凡 35.5.1 你 (5S,A/1,91rrVw) 为 有 限时 段 权 型 (finite-stage 
model) ,其 中 VW、 见 定 六 35.4. 3. 

定 光 35. 5.2 最 优 策略 (optimal policyy 一 个 策略 二 生 克 ， 
若 对 所 有 zE 万 ,ES ,有 

Vs 次 Try 或 记 为 Ywkr ) 守 Vv)， 

划 称 =" 是 关于 有 限时 段 准 则 的 最 优 策略 . 

注 在 有 限时 段 模型 中 只 考虑 前 N 十 1 时 段 , 故 策略 只 要 前 

， 。 ?749 。 


面 N 十 1 时 段 有 定义 就 可 以 , 该 模型 是 否 存在 最 优 策略 ,有 以 下 
结论 . 


35. 5.2 主要 结论 


定理 35. 5.3 存在 一 个 确定 性 马尔 可 夫 策 咯 

下 二 和) 
关于 Vw 是 最 优 策略 . 妈 Yw(xr* ) 六 YYxw(ne) 对 所 有 rxE 均 成 立 ， 

注 若 4 为 无 限 集 时 ,上 述 定 理 不 成 立 ,得 当 S 为 可 列 集 ,4 
为 有 限 集 时 ,定理 仍 保 持 . 

定 兴 35.5.4 令 VNICG) 二 0， 


Jr 
Vr (7) = maxE,l DR = i iE S00CnEN. 


显然 7 (一 maxYw(rii，iE3. 称 7 (i) 在 Y, 一 i 条件 下 从 
时 刻 到 N 时 刻 的 最 优 期 望 总 报酬 ,VY" (i) 为 最 优 期 望 总 报酬 


{optimal expected total reward). 
定理 35.5.5 最 优 方程 (obtimum equation》 对 iE€ES,0<n 
N,V (让) 满足 
Vi (0) = max{r(liya) + Yara V7)}, 
2 jES 
V+) = 0, 
定理 35. 5.6 对 i:€5,0snSN, 令 所 (E44, 满 足 
OF OD 十 Dg fs OOOVtiC)) 


ES 
= max{r (iya) 十 qaV (7)), 
立 包 已 JE 


则 "二 {fe sf 了 rf Li sf ;是 关于 Vw 的 最 优 策 略 . 
35. 5.3 向 后 归纳 法 


定 光 35.5.?7 向 后 归纳 法 由 定理 35, 5. 5 给 出 了 求 最 优 期 
» To0* 2 


望 报酬 的 递 推 关系 ,由 YY :一 0, 可 得 
VD 一 maxr 人 za， 

一 般 地 ,由 YH'() 及 定理 35. 5.5 可 得 VY' (i) ,重复 至 人 (2). 定 
理 35.5.6 给 出 了 求 最 惰 策 略 的 递 推 关系 ,由 谅 (2) 满 足 7 (i， 
fn 0)) 二 maxr (i,a), 及 定理 35. 5.6 可 求 得 /fw_ .2， ,一 般 地 
由 .AD 可 得 户 人 直到 求 出 方 GD ， 从 而 得 最 优 策 略 "一 5 ， 
万 ,大 ) 这 种 递 推 算法 , 称 为 应 后 归纳 法 (backward 
induetion yy， 

定理 35. 5.8 最 优化 原理 由 定理 35. 5.5 及 定理 35. 5.6 
知 ,车 {到 ,六 所} 为 0 时 眉 到 六 时 侦 的 最 优 策略 , 则 { 亡 ， 
一席 } 也 是 从 时段 到 NN 时 段 的 最 优 策略 . 这 说 明 MDP 有 段 时 
段 模型 符合 内 尔 曼 的 “最 优化 原理 ”, 但 这 结果 是 证 明 出 来 的 ,而 不 
是 作为 公理 提出 的 . 

例 35.5.9 以 定理 35.4.8 例 求 最 优 策略 与 最 优 值 函 数 . 设 
N=3. 

解 这 时 下) 一 0,n=3 时 , 因 

Va (1) 一 tnaxfrtiya) 十 Doo VE GO) =r(a) = 10, 


jES 
故 令 让 (1) 二 ais 
V2) 一 max{tr(2 ,ad er(? a} 一 ras) 一 一 上， 
故 令 ff (2) 一 as; 
n=2， 
Vs 0)= max{r(1,0) 十 > ga 六】 
上 名 


一 *flra) 十 0.7X10 十 0.3X( 一 2 一 16.14， 
故 令 fi (1)=as 
VE (2)= max{r(2sa) + D> gayVs (7 


JE 


一 Inaxtrf2as) 十 0.6X10 十 04X( 一 2)， 
ri2a) + 0.4xX 10+0.6 Xx (— 2)} 
一 max[0. 240. 8] = 0. 8. 
这 时 ,达到 7 了 (2 的 行动 是 ci, 页 令 疡 (2)=as. 同 理 = 一 1 时 ， 
V1D)= max{r(l,a) 十 2495(07 C7} 


二 10 二 0.7X16.4 二 0.3 Xx 0.8= 21.72. 
令 广 (1)=a, 
1 一 ， 2 《1 
Vl (2) 一 max [7(2,4) 十 DV CD | 


一 max[r(2,as) + 0.6 XxX 16.4 0.4 Xx 0.8; 
rl2,a3) 二 0.4 X16,4 十 0.6 x 0.8] 
一 max[5, 16:5.04| = 5. 16. 
破 令 (2) = eas. 
关 一 几 
YY 一 10 十 0.7X21.72 十 0.3X5.16 一 26.752. 
邻 玉 (1) 一 ai， 
V% (2)= Inax[ 一 5 十 0.6X21.72 十 0.4X5.16; 
一 2 十 0.4X21.72 十 0.6X5.16] 
一 max[.10. 096;9. 784] = 10. 096. 
达到 WV (2) 的 行动 是 es , 故 令 及 (2) 二 as, 帮 最 优 策略 x* = { 谨 ， 
818)y 其 中 fg 的 定义 见 表 35.1. 


35.6 折扣 模型 


折扣 模型 有 许多 良好 性 质 , 是 MDP 中 研究 最 为 透彻 的 模型. 
35. .上 定 沈 与 记号 


定义 35.6.1 称 (5,4,9qr,yi) 为 折扣 模型 (discounted 
" 752+ 


model) ,其 中 目标 前 数 Ys 是 折扣 期 望 报酬 向 量 ( 见 定义 35. 4. 6). 
设 gw, 为 定义 在 S 上 的 二 个 mr 维 列 向 量 ,其 分 量 为 (i) ,VC)， 
iES. 若 ww( 人 VODWES, 记 为 WV ;着 w>V 且 4# 关 WV, 记 为 u> 
六 , 记 e 为 mm 维 单位 询 向 芋 ,rC= {rt rm 有},M= 
Lax, [roi ea) lO = Co CF (Dwrns ts ES, B= (VY:; 
—{1—A MeV A Me ui VEB)u—V| —max lu(i) 
一 了 5z) |， 

定义 35. 6. 称 由 一 supVs(7) ,为 最 优 折 扣 期 望 报酬 向 量 
Coptimal expected discounted reward vector). 

定义 35. 56.3 一 个 策略 zr* EE 如 ,车 对 所 有 xrE, 有 Wetr') 
之 Vs(7), 称 x' 是 关于 折扣 模型 的 最 优 策略 ,简称 为 BB 最 优 策 赂 


CB discounted optimal policy )， 


35. 6. 2 主要 性 质 
定理 35. 6. 4 设 z= fof otE I EFrEeN, 


Eres 


则 Yak 一 > PR Dr) 其 中 候 (7) 一 QCDQCD) 和 (六 


i 二 9 


定理 35, 6.5 设 赤 一 { fe 一 fe F, 出 
Vf™) = > BQ YD). 


定理 35. 6.6 给 定 fEF， Velt/) 满 足 方程 
Velf™) = re + BO Va)Y. 
以 上 给 出 了 zxED% 及 wxE I 时 Voltz) 的 表 迷 式 , 为 讨论 Veal 让 的 
性 质 及 算法 ,引入 
定义 35.6.7 对 了 EF,VEB, 定 义 映 射 Tj 及 T:T/Y 全 r( 站 
+ BOONV,TVEmaxTV =maxtr(f)T BQOV} (其 中 max 是 分 


别 按 各 分 量 取 ,下 同 ). 
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Tey = T/T ,TY = TTI", 一 了 ?8 一 
定理 35.6.8 设 g,fEF,={f fy} ,i gf =igsf:f, 
***} 刚 
TV = Velgf™). 
定理 35.6.9 任 给 /EF， 
(1) Ty 是 B~*B 的 庄 缩 单调 映射 , 即 对 任意 ww,VEB, | 了 了 一 
TW 所 Bu 一 YH ,车 wwV, 则 TAaTyV: 
(2) Ty 在 B 上 有 唯一 不 动 点 Vy (六 , 即 TVe( 店 ) 一 
Val ); 
(3) 对 任意 WEB8, 有 
Valf™) = limTYV,. 
这 为 求 YaC 广 ) 提 供 选 代 算 法 ， 
定理 35.6.10 (1) 了 是 B88 的 压缩 单调 映射 , 即 任 取 ww,V 
EB, 有 | Tu 一 TV 才 P wu 一 VY ,车 zw 守 VY, 则 Tu>TY; 
(2) 荆 在 如 上 有 唯一 不 动 点 VW, 即 Vi 满足 
Vi 一 max {rCf) + BQOCAVS }, (35. 1) 
或 TV 一 Vj， 
称 (35. 1) 为 折扣 模型 的 最 优 方程 . 
(3) 尾 取 VoE8, 有 
Vi 一 lim7"y。 (35. 2) 
这 为 求 最 优 期 望 ( 折 扣 ) 报 酬 Vi 提供 近代 算法 . 
若 令 了 一 TV Vi 一 Vo VC 让 ==TyVCD Vo 让 二 WW, 则 当 
取 Vo 二 0 时 ,V2 表示 前 时 段 的 最 优 期 望 折扣 报酬 ,V,( 门 表示 在 
7 下 的 前 二 时 段 期 望 折 扣 报 酬 . 


35. 6.3 最 优 策略 的 存在 性 及 性 质 


定理 35. 6.11 存在 马尔 可 夫 确 定性 策略 x* = 二 {fi fi 于 *…， 
04 


产 ，E28 是 折扣 准则 的 最 优 策略 , 即 策略 x* 对 任 给 +E 并 ,有 
了 af” Vs(r). 

定理 35.6.12 设 x*EH, 若 对 任意 gEF, 均 有 TValr' 扫 
Vox" ), 则 xz' 是 8 最 优 策略 , 

定理 35.6.13 设 z'= 二 {i ,"…)€14 是 8 最 优 策 
路 , 则 #7 亦 是 8 最 优 策略 . 

由 定理 35. 6. 11 一 35. 6. 13 可 得 下 面 重要 结论 . 

定理 35.4.14 存在 一 个 gE 下 ,使 得 Vi 一 supVa 《tn) 一 
SupVaC) 一 supVat/) 一 Velg”), 即 必 存 在 一 平稳 策略 是 8 最 优 


策略 . 

该 定理 给 出 在 3,4 均 为 有 限 集 条 件 下 ,对 折扣 模型 最 优 策 略 
必定 存在 ,上 且 只 要 在 形 上 寻找 就 行 了 ,这 就 大 大 地 缩小 了 寻 优 范 
围 . 尽管 如 此 ,下 包含 的 元 素 仍 可 能 很 大 ,例如 , 若 3 的 元 素 mm 二 
30,4 的 元 素 为 2, 则 下 的 元 索 有 2”=1073741924, 这 时 车 用 穷 举 
法 寻 优 难以 实现 ,因此 研究 寻找 最 优 策略 的 有 效 算法 十 分 必要 . 


35. 6. 4 策略 改进 法 


替 华 德 (R A Howard) 于 1960 年 提出 寻找 最 优 策 略 的 策略 改 
进 法 {policy improvement) ,其 原理 由 下 面 二 定理 给 出 . 

定理 35.6.15 对 VEB,gEF, 若 TVEV, 则 有 Veale”) 守 
Vi 者 TV 则 Volg™ ) >, 

定理 35. 6.16 给 定 fEF, 若 选取 gEF, 满 足 TVs( 广 二 
了 TY 产 ), 邑 8 满足 

rpg) 十 有 ga 
JE 


—max{r (0) + Poa OV 站 及 
PL | Tes 


则 Vetg DV ). 
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由 上 说 明 , 已 知 产 , 奶 何 寻找 比 产 * 好 "的 策略 g”， 

方法 35. 6.17 ”策略 改进 具体 步骤 ” 

《1) 策略 求 值 ”对 任 给 初始 策略 启 ,rCfo) ,8(f6) 为 已 知 , 求 
解 下列 方 程 

VC =r f+ BO OV Fo) , 求 Ye 所 )， 
《2) 策略 改进 “寻找 fi 下 ,使 满足 
Ty Velfy) = TVetf?), 
即 VED) + Bg FD Vay, 
一 max 人 ra ) 十 BO gaVetfr,))). 

《3) 比较 与 终止 规则 

1) 若 了 PR) 一 Yo ) , 则 六 ” 为 最 优 策 路 人 终止 进 代 ， 

2) 车 了 TCD)VeC 凶 ) 则 以 访 代 为 : 转 (1) ,重复 上 述 过 


说 明 , 当 任 给 一 初始 谨 ,VCA),@(f8) 为 已 知 ,由 定理 
35. 6. 6 及 例 35. 6.9 知 ,方程 有 唯一 解 Ye(.A ,显然 这 比 按 定 理 
35. 6. 4 式 直接 求 内 (让 ) 要 窟 易 得 多 ,由 035. 6.10) 知 , 当 Tj Vs 
(CA 一 TV8C 订 一 Ye 及) 时 , 刚 有 YeCAT) 一 了 Yo) 一 Ya) 
二 Vi , 故 广 为 最 优 策 酷 , 当 了 nnYsCH >V8e(A) 可 得 YaG 全 
yet), 即 广 是 比方 更 好 的 策略 ,策略 得 到 改进 ,由 于 必 有 限 ， 
故 经 有 限 次 改进 必 终 止 , 得 到 最 优 策略 . 


35. 6.5 逐次 通 近 法 
由 (35.2) 式 ,给 出 求 最 优 慎 Vi 的 逐次 逼近 法 (method of 
successive approximations ». 
算法 35. 6. 18 ”逐次 通 近 法 具体 算法 
(1) 任 取 初 值 向 量 WE 如 ,通常 取 Vo 二 0 或 Vmax rt 内 
(2) 递 推 求 VV 及 如 下 
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Vo = TY = TV (35. 3) 

BV,=r (0) + BO CI VW, = max fr 门 十 DCPDY。 ;车 存在 
on0 夺 Hm: 使 了 二 让 ; 则 转 下 一 - 步 ;否则 ,管庄 为 n 十 1; 重 复 
(2). 

(3) 终 上 规则 ,对 ,利用 Vel 二 rr) 十 PCfOVa( 启 ) 求 
出 YaCfF), 若 Vyt 启 ) 满 足 景 优 方程 (35.1); 即 TVYy (一 
Vs) , 则 终止 选 代 , 产 即 为 最 优 策略 ;否则 以 Ve( 疗 ) 代 TT 转 入 
(2). 

定理 38.6.19 若 ! 广 ,之 0 是 由 式 (35. 3) 递 推定 义 的 类 策 
序列 , 则 存在 mm>0 使 上 产 必 是 情 最 优 策 略 . 

注 该 定理 说 明 ,在 环 为 有 限 集 时 ,用 逐次 通 近 法 寻求 最 优 
策略 , 则 经 有 限 次 迭代 , 必 可 得 到 最 优 策略 ， 

注 一 般 不 等 于 名 (5 产 ) ,但 有 以 下 定理 . 

定理 35, 6. 20 ” 若 {y,,2 产 0 是 由 式 (35. 3? 定 义 的 序列 , 则 有 

VF Vw. 

注 ”利用 该 式 可 合计 以 Y, 代 Vi 的 误差 
35. .6 线性 规划 算法 

求 矿 可 用 线性 规划 法 (inear programming method). 
设计 0,1ES5 线性 规划 问题 如 下 : 

| DbV (2), 
T 它 号 
St VO max{r(i,a) 十 EPACDASIE 

其 中 忆 为 给 定常 数 . 

定理 35. 6.21 .上述 线性 规划 问题 的 解 为 Vi G)， 

以 上 给 出 常用 的 三 种 算法 ,各 有 优 , 缺 点 . 例如 ; 当 x 较 小 时 ， 


通常 用 策略 改进 法 , 当 兽 较 大 时 ,用 逐次 逼近 法 较为 简单 . 通常 还 
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有 三 种 算法 的 混合 及 变形 . 
35. 7 平均 模型 


35.7. 1 定义 与 假设 


定义 35.7.1 称 45,4,gsr 呈 ) 为 平均 模型 ,以 为 目标 函数 
《网 定义 35. 4. 7)， 

定义 35.7.2 对 实生 开 , 若 对 所 有 E 开 ,有 了 (Cr 六 YYCr)， 
称 * "是 关于 平均 准则 的 最 优 策 酷 . 
平均 模型 远 比 折扣 模型 复杂 , 且 前 者 的 结果 也 不 如 后 者 完善 .这 里 
仅 限 制 在 下 面 假设 条 件 下 讨论 . 记 

(ga = (aa a EE A IES. 

注 35.7.3 假设 对 任意 4a€ 4,i, jES,limgy(a) 二 gj{a) 存 
在 ;其 中 gj(a) 是 不 依赖 i 的 常数 . 

注意 ,上 述 息 设 的 概率 意义 是 , 若 (o) 是 某 一 马尔 可 去 链 的 一 
步 转移 概率 , 则 满足 上 述 假 设 所 对 应 的 马尔 可 夫 链 是 一 遗 历 链 ， 
(qjE3) 是 该 马尔 可 夫 链 的 稳 态 分 布 或 称 为 平稳 分 布 ， 


35.7,2 最 优 策略 与 最 优 方程 


定理 35. 7.4 存在 一 平稳 策略 六 "关于 平均 模型 是 最 优 
策略 . 

定理 35.7.5 令 后 ( 门 一 7 一 VE (1), 其 中 

Vi (2) = supV el,i) (i € S) 

为 折扣 模型 的 最 优 值 函数 , 则 

《1) 存在 一 子 序 列 一 1 ,使 

RD 一 limpa Gy = lim[Vi CD — Va). 
(2) limC1— BVS (1})=g,H g=V" (HD =supY (ri) ~—maxV 
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(六 ,站 对 所 有 i1ES. 
(3) g 及 h(i) (ES) 满 足 最 优 方程 
g + hi) = max {7 (ia) 十 2 Cadh CD). 


注 ”该 定理 说 明 , 在 假设 (35.7. 3) 条 件 下 ， 对 平均 准则 的 最 优 
值 g=Y* (站 是 一 个 常数 . 


35.7.3 平均 模型 的 逐次 通 近 算法 


设 瑟 为 m 维 初始 向 量 ,定义 
定 尺 35.7.66 Vo =max(r( TQOAV.} a0 


Vib) = maxtrti,a) 十 2 ) A 0 ES. 
记 TD VD VD ES,L,—minz(). Lr—maxr (i). 
定理 35.7.7 TriG) iES 如 定义 35.7.6, 则 有 
VD = ng + Vio), ies, 
其 中 limO.0) =0, i€ 5， 
公式 35. 7.8 g,VisiES, 满 足 最 优 方 程 
Vg= max{r (i,0) 十 > gua)V, }; 且 


ES 
limz,li) 一 g, 对 所 有 i E 5S,L, 才 8 攻 1%, 且 
limL’', = lm” = g. 


定理 35.7.9 一 策略 /™, 若 存在 wo > 0, 使 对 nn 汪 n。 有 
Van(i) = maxtrliva) 十 Soe)V, 7)) 


E35 


一 Cf0)) 十 Daf OV, CO), 


则 有 Cr 一 7 一, 即 产 是 最 优 策 略 . 
方法 35.7.10 迁 代 步骤 
(1) 计算 VG) (E95); 
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《2) 求 Elimzt (iy; 
(3) 求 满足 定理 35.7.9 的 了, 产 即 为 最 优 . 
35. 7. 4 平均 模型 的 策略 改进 算法 


算法 35.7.11 策略 改进 算法 
(1) 任 取 初 始 策略 方 , 解 下 列 方程 
Vor ND + Da MODNVO — VO ES, 


jE 


求 出 未 知 的 V,VCD ,V2 ,nV lm 一 1) ( 令 耻 Co 一 0)， 
(2) 令 族 EF 满足 
rf D+ DoF OV = max{r (isa) + D193 VO 


JES ES 
GE 3)， 并 计算 
b= r+ Da ONVOND— VT — VO); 
TES 


{3 车 max tf;>0 ,四 以 万代 站 转 入 (1)1 若 max 二 0, 则 停止 
选 代 ,此 时 上 启 即 为 最 优 策略 . 


35.7.5 平均 模型 的 线性 规划 算法 


记 re) 为 系统 在 状态 ;时 选用 行动 a 的 概率 , 则 求解 最 优 
值 g 一 7 GES) 化 为 下 列 线性 规划 
方法 35.7.12 max >， Drli,a)r(i,a) 


iES ot€E 


gti ya) 0 E Sa E44, 


> Dli,a) 一 i， 


JES EA 
>f(1a) 一 >) Dalisa)g(a) jES. 
归 亡 马 [= 

注 x(i,4) 理 解 为 系统 在 状态 i 选用 行动 a 的 稳定 联合 松 


率 , 即 
“760。 


Xd) 一 limP (y, = iA, 一刀) 

例 3$.7.13 水 电站 水 库 发 电 优化 调度 问题 水 电站 发 电 水 
库 优 化 调度 的 主要 自 的 ,是 制定 一 个 放水 量规 则 ,使 长 期 运行 下 每 
年 平均 期 望 发 电量 达到 最 大 . MDP 是 求解 该 问题 的 一 个 有 效 方 
法 . 为 便于 处 理 , 通 常 把 时 间 离 获 化 , 即 把 一 年 分 为 若干 时 段 间 的 
径流 5 即 流入 水 库 的 水 基 )? 存 在 一 阶 自 相关 条 件 下 , {在 适当 时 向 闻 
中 下 ,该 条 件 满 足 ), 以 及 面临 时 段 的 径流 不 能 准确 预报 情况 下 ,以 
时 段 宁 的 库容 和 和 前 一 时 段 的 径流 的 二 元 组 合作 为 系统 状态 ;本 时 
段 的 放水 量 作为 该 状态 的 可 用 行动 , 申 时 段 间 径 流 的 条 件 概率 确 
定 系统 状态 转移 概率 矩阵 ,以 一 时 段 的 发 电量 作为 报酬 函数 ,年 平 
均 恬 电量 作为 且 标 函数 ,从 而 把 问题 归结 为 一 个 有 限 状 态 , 有 限行 
动 ( 放 水 量 也 离散 化 .离散 时 间 .平均 模型 的 MDP， 

由 于 径流 是 以 年 为 周期 的 随机 过 程 ,所 以 状态 转 称 概率 矩阵 
评 也 以 年 为 周期 ,从 而 寻求 的 最 优 策略 也 是 以 年 为 周期 ,就 可 得 到 
以 年 为 周期 的 MDP 问题 , 对 一 个 中 小 型 水 电站 ,应 用 MPDPP 制定 
最 优 调度 策略 ,其 年 效益 达 数 百 万 元 ,详细 论述 见 [2j. 

MDPP 近 十 年 来 在 我 国 得 到 了 迅速 地 发 展 ,在 理论 上 ,我 国 研 
究 人 员 在 最 优 策略 的 结构 , 首 达 目 标 模型 等 方面 做 了 大 量 的 工作 ， 
取得 丰硕 的 新 成 果 { 和 参见 [55],[56]). MDP 应 用 于 经 济 管理 及 生 
产 . 尤 其 是 应 用 于 水 电站 水 库 优 化 调度 方面 取得 明显 的 经 济 效益 . 
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埃 尔 朗 分 布 /Erlang distribution 32. 1.4 

爱 伦 菲 斯 特 横 型 /Ehrenfest model 25.6 

按 龄 更 换 策略 /age policy 方法 33,.9.1 

奥 轧 斯 坦 - 乌 伦 有 共 克 过 程 /Ornstein-Unlenbeck process 
30. 5. 2,25. 3. 4¢3) ,25.6 


B 


名 噪声 /white noise ”定义 22.4.13, 例 23.1.6 
白 品 声 过 程 /white noise process 定 光 30.5.1 
学 不 变量 /semij-invariant 定 光 S1.7 
半 紧 /semi-compact 定理 21.6. 11 
报酬 这 程 /reward process 定义 35.4.2 
幢 利 - 埃 森 年 理 /Berry-Esseen theorem 10.1.12 
贝 特 翩 奇 论 /Bertrand paradox 例 1.4.3 
由 时 斯 公式 /Bayes formula 定理 2.1.7 
贝 呈 斯 估计 /Bayes estimate 11.5 
中叶 斯 判别 /Bayes discrimination 定义 18. 5.2 
由 时 斯 区 间 人 估计 /Bayes interval estimation 12.2 
备 择 假设 /alternative hypothesis 13. 1 
边界 /boundary 囊 25.1 
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比 佑 值 法 Aratio estimation method 20.2.11 

闭 包 /ciosure 性质 22. 4.4 

边缘 分 布 /mnarginal distribution 定 允 3.2.8 

闵 集 /elosed set 定 光 34.1.11 

三 盖 "Variation ” 定 光 29,6.1 

标准 着 /standard deviation 定 双 4.2.1, 定 光 21, 1. 12 

标准 正 态 分 布 /standard normal distribution ”定义 6. 4.5 

并 /union 定 巡 下 工 和 在 

博 雷 尔 天 数 定律 /Borel's law of large number 定理 9.1.2 

博 雷 尔 - 康 特 利 引 理 /Borel-Canteli lemmsa 引 理 8 3.1 

博 雷 尔 可 测 过 程 7Borel measurable process 定 双 21.5.1 

博 昔 尔 空间 /Borel space 定 光 7.1.9 

博 雷 尔 0-1 律 /Borel 0-1 law 定理 8.3.2 

和 伯 弩 利 大 数 定律 /Bernoulli's law of iarge number 定理 9.1.1 

怕 轰 利 试 验 /Bernoulli trials” 定 尖 2.3.4 

补充 变量 法 /supllement variable method 33.8.,4 

不 变化 算法 /qdisjoint algorithm 例 33.6.5 

不 可 分 闭 集 /irreducible cjosed set ” 定 基 24.1.11 

不 可 和 分 马尔 可 去 链 /irreducible Markov chain 定 光 24.1.11 

部 分 估计 /partial estimate ”方法 20.2.3 

布朗 桥 /Brownian bridge 定 光 26. 4. 12 

布朗 运动 /Brown motion 例 211.4, 定 义 26.12 

布 户 运 动 的 正 交 不 变性 /orthogonal invariance for Brown motion 
性 质 26. 2. 1 

布朗 运动 的 平移 不 变性 /translation invariance for Brown motion 
性 质 26. 2, 1 
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C 


采样 定理 /sampling theorem ”定理 23. 3.9 

参数 估计 /paratmetric estimation ” 定 半 11.1.7 

参数 空间 /parametric space 21.1.6 

参考 族 /reference family 定 双 21.2.6, 定 理 26. 2.9 

测度 /measure 定 父 了 ,1.6 

测度 空间 /measure sbace ” 定 兴 7.1.6 

差 /difference 定 光 1116 

查 普 曼 - 科 尔 莫 戈 罗 夫 方 程 /Chapman- 民 olmogorov equation 
性 质 24. 1. 4, 性 质 24. 2. 3, 定 义 24. 3.2 

常 返 Arecurrent 定 光 26. 3.9 

超 几 何 分 布 /hypergeometric distribution 定 党 不 3.7 

超 临 界 GW 过 程 /supercritical G-W process ”定义 28.1.2 

成 批 服务 /bulk service 节 32.3.2 

成 批 更 换 策 略 /bloek policy ”方法 33.9.2 

乘积 性 季节 模型 Anultiplicative seasonal model 式 (23. 66) 

乘积 空间 /product space ”定义 7.1.13; 定 六 7.1.14 

乘法 律 /product iaw 式 (2,2) 

尺度 不 变性 /scale invariance 26.2.1 

尺度 测度 /scale measure 定 光 25.5.3 

尺度 痛 数 /scale function 定 尖 25. 5.3 

赤 池 信息 准则 /Akaike information criterion 23.8.5 

抽样 /sampling 例 1.3.3 

充分 统计 量 /suffieient statistics 定 忱 11.2.7 

重 对 数 律 /law of iterated logrithm 9.3,26.2.5 

初始 分 布 /initial distribution 性质 24. 1.4 

串联 和 并 联系 统 /serier system and parallel system 33.4.1 
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ly 


症 生 过 程 /pure birth process 25.6 

次 临界 人 -到 过 程 /suberitical GG-W process 定 六 28.1.2 
深 转 移 函 数 /sub-transition function” 定 浆 24. 2.4 
策略 改进 /policy improvement 35.6.4 


Dp 


太 数 定律 /law of large number 定理 93. 1.2 

代数 /algebra 定 革 7.1.1 

单 部 件 可 收复 条 统 /one 一 unit maintainable system 33.8.2 

单调 关联 系统 /monotone coherent system 定 尺 33.5,1 

单调 收敛 定理 /monotone convergence theorem 定理 8.2.1 

单 因 素 方 差分 析 /one-way analysis of variance 16.2 

刀 切 法 /jackknife 方法 18. 5. 23 

到 达 过 程 /arrival process 32.1.2 

等 竺 时 间 /waiting time 32. 1.3 

等 待 制 /waiting system 32.1.2 

等 价 /equivalent 1.1.5 

等 数据 法 /isodata method 方法 19. 3.25 

邓肯 公式 /Denkin formula 性 质 21.6.9 

部 肯 条 件 /Denkin condition 式 (25.7) 

犹 利 克 雷 分 布 /Dirichlet distribution ” 定 光 6. 6.8 

棣 莫 弗 - 拉 普 拉 斯 中 心 极限 定理 /De Moivre- LapPiaee central limit 
theorem 定理 10.1.1 

点 性 计 /point estimation 定义 11.1.7; 定 类 11.2.1 

典 四 相关 /canonical correlation 19.1.1 

上 典 则 相 美 变量 /canonical correlation variables 19.1.1 

暴风 相关 系数 /canonical correlation coefficients 19.1.1 

独立 过 程 /independent process 定 尖 21.1.9 
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独立 事件 /independent events 定义 2.2.1 

独立 随机 变量 /independent variables 定 浆 33.5 

独立 增 量 过 程 /independent increment process 
定义 22. 3.5, 定 半 27.1.1 

杜 布 定理 /Doob theorem 定理 21.3.6 

杜 布 - 梅 耶 分 解 /Doob-Meyer decomposition ”定理 29. 4.7 

杜 布 停 时 定理 /Doob stopping theorem ”定理 29. 2.4 

杜 布 鞭 过 程 /Doob martingale Process 例 21.2.7 

对 布朗 运动 的 伊 芯 积 分 /te integral for a Brown motion 
定 光 30.2.3 

对 布朗 运动 的 S- 积 分 /S-integral for a Brownian motion 
定 浆 30. 2.9 

对 策 /game 注 29.1.10 

对 立 /contrary 定 光 1.1.5 

对 数 分 布 /logarithm distribution 定 光 6.3.9 

对 数 似 然 方程 /log-!likelihood equation ” 定 尖 11.3.4 

对 数位 势 /iogarithmic potention 26.6 

对 数 正 态 分 布 /log-normal distribution 
定义 6.4.28,33. 3.4, 式 (33. 8) 

队长 ( 队 的 长 度 )/gueue length 32.1.3 

多 重 线 性 回归 /multiple linear regression 15.3 

多 项 分 布 /multinomial distribution 定 光 6.6.4 

多 指标 分 析 /multiple target analysis 17.2 

多 维 扩散 过 程 /multidimensional diffusion process 23.7 


E 


二 阶 抽样 法 /two step sampling method 20.4 
二 阶 矩 过 程 /second order process 21.2.1,22.1.1 
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二 阶 疆 空间 /second order space 定 光 22.2.5 
二 元 正 态 分 布 /bivariate norrmal distribution 定义 656.6.1 
二 项 分 布 /hinomia] distribution 定 光 6.1.4 


F 


法 图 引 理 /Fatou lemma ”定理 8.2.2 
反正 蓄 律 /arcsine law 定理 26.2.6 
方差 /variance 定义 4.2.1 
方差 靖 数 /variance function ” 定 闵 21.1.12 
方差 帘 阵 /variance matrix” 定 4.5.3 
非 参 数 估计 /nonparametric estimation ”定义 11.1.7 
非 参 数 统计 /monparametric statistics 14.1 
非 负 定性 /nonnegative definite ， 性质 23.1.3 
非 规则 点 /irregular point ” 定 26.3.3 
非 平稳 时 间 序 列 / 非 平稳 时 间 序 列 23. 10 
费 希 尔 得 分 法 /Fisher scoring method 定义 11.3.8 
费 希 尔 判 别 函 数 /Fisher discrimination function 定 你 18. 5. 18 
费 划 半 和 群 /Feliler semi-group ”定义 24.3.6 
费 勒 定理 /Feller theorem 定理 .1.7,10.1.19 
费 勒 过 程 /Feller process 定 尽 21.6.7 
费 勒 转移 概率/Feller transition probability 定义 21. 6.7 
分 布 消 数 /distribution function 定 巡 3.2.1,3.2.S 
分 层 比 居 什 法 /separate ratio estimation method 20.3.4 
分 层 简单 估 值 法 /separate simple estimation method 20.3.1 
分 枝条 件 /branching condition 定义 28.5.1 
分 位 善 /auantile difference 定义 4.2.10 
分 位 数 /quantile ”定义 4.1.22 
福 克 - 普 朗 克 方程 /Fokker-Plank equation 式 (25. 14) 
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风险 /risk ”定义 11. 5.5 

峰 度 /kurtosis 定 光 由 3.5 

复 相 关系 数 /multiple correlation coefficient 18. 4.11 
复合 泊 松 过 程 /compound Poisson process” 定义 27.6.4 
服务 机 构 /service mechanism 32,1.2 

倘 二 项 分 布 /negative binomial distribution 定 汉 6.1.11 
负 跳跃 7Pnegatively jump 定理 27.4.3 

富 巾 尼 定 理 /Fubini theorem 定理 7. 3.9 


G 


改进 的 KK 均 慎 法 /improved K-means method 方法 19. 3. 14 
概率 /probability 定 光 1 2.1 
概率 测度 /probability measure 定 区 了 ,1.7 
概率 分 布 /Prebabiiity distribution 定 妈 1.3.1,7.2.14 
概率 空间 /probability space 定 关 7.1.7 
概率 密度 函数 /probability density function 定 闪 3.1.6 
概率 母 画 数 /probability generating function ” 定 半 5.2.1， 
定理 28. 1.5 | 
高 尔 顿 - 活 森 过 程 /Galton-Watson Ptocess 。 定义 28.1.1 
高 斯 分 布 /Gauss distribution ” 定 光 名 4.1 
高 斯 过 程 /Gauss process 定 关 22.3.1 
高 斯 核 /Gauss kernel 式 (258. 19) 
格 里 交 科 定理 /Glivenko theorem 定理 14. 2.6 
更 换 和 策略 /replacement policy 33.9 
更 新 方程 /renewal equation ”定义 27. 8.2 
更 新 过 程 /renewal brocess 定 光 27.7.1 
更 新 函数 /renewal function 定 巡 27.7.5 
功效 国 数 /powet function 定 半 13.3.2 
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古典 概率 /classical probability 定居 1.3.1 

估计 /estimation ”定义 11.1.7 

故障 树 分 析 /fault tree analysis (FTA) 33.7 

广 闵 泊 松 过 程 /generalized Poisson process 定义 27,6.1 
规则 过 程 /regular process 定义 25.5.2 

规则 点 /regular point 定 光 25. 5.2 

轨道 /prajectory 21.1.7 

滤 过 的 油 松 过 程 /filtered Poisson process 22.5 


H 


哈 利 -布雷 引 埋 /Helly-Bray lemma 3 引 理 8.4.11 
哈 特 蜡 - 文 特 纳 尔 重 对 数 律 /7Hartman-Wintner s law of iterated 
logrithm ”定理 9.3.1 
淮 特 林 Ta 检验 /Hotelling Ti test 方法 18. 3. 12 
核 密度 估计 /kernal density estimate ”定义 14. 5.2 
赫 米 特 对 比 阵 /Helmert contrast matrix 19.5 
后 验 分 布 /postrior distribution ”定义 1 5.2 
后 验 风 险 /Postrior risk ”定义 11.5.4 
后 到 先 服务 /tast-cotmne-first-served 32.1.2 
互 斥 /exclusive 定 巡 11.5 
互 谱 密 度 /cross spectral density 定义 23.6.9 
瑟 谱 函数 /cross spectral function 式 (23. 19) 
互相 关 函 数 /cross correlation funetien 定 兴 21.1.13， 
定义 23. 6.7 
互 协 方差 畏 数 /cross covariance function 定 妇 21.1 13 
滑动 平均 混合 模型 /mixed auto-regressive-moving average model 
定 光 23.7.3 
回归 分 析 /regression analysis” 定 兴 11.1.9 
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回归 汞 数 /Aregression function 定妆 是 4.3 
J 


积分 布朗 运动 /integrated Brown motion 定义 26.4.6 
积分 卷 积 公式 /integral convolution ”定理 3. 4. 3 
极 太 似 然 估计 /maximum Likelihood estimate ”定义 11.3.1 
极 大 伺 然 判别 /maximum likelihood discrimination 式 (18. 57) 
极 值 强 庶 /extrem strength 定义 14. 3. 4 
极 值 原理 /extremum principle 定理 20.5. 4 
极 集 /polar set 性 质 26. 3. 10 
集团 抽样 法 /group sampling method 方法 20. 1.7 
几何 布朗 运动 /geometric Brown motion 定 尺 26.4.3 
几何 分 布 /geometric distribution 定 尖 6.1.7 
几何 娄 率 /geometric probability 定义 1.4.1 
几乎 阶梯 的 /almost step 定 信 21.4.4 
几乎 处 处 收 熟 /convergent almost everywhere 定 光 有 1.2 
计数 过 程 /counting process ”定义 22.5,1 
季节 模型 /seasonal model 23. 10. 2 
假设 检验 /Atest of hypothesis 定 尖 11.1.8,13.1 
简单 函数 /simple function 定 灶 7.2.7,30.2.2 
简单 祥 本 /simple sample 定 作 11.1.56 
渐 近 方差 /asymptotic variance 定义 11.4.3 
渐 近 正 态 估计 /asymptotically normal estimate ”定义 11.4.3 
渐 近 最 优 经 验 忠 叶 斯 估计 /asymptotically optimal 
Bayes ernpirical estimation 定 闵 11.5.19 

交 /intersection 定 尖 1.1.6 
交替 最 小 二 乘法 /alternative least squares 19.4.3, 式 (19. 38) 
阶梯 的 /step 21.4.4 

“7 了 70， 


截止 频率 Aruncated frequency 式 (23. 12) 

截 尾 性 /cut off 。 式 (23, 26) 

截 昆 正 态 分 布 /truncated normal distribution 式 (33.9) 

杰 林 斯 基 - 葛 兰 达 软 人 忻 可 僻 性 模型 /Jelinski-Moranda software 
reliability modei 模型 (33. 11. 3) 

经 验 山 叶 斯 方法 /empirical Bayes method 定义 11.5.14 

经 验 分 布 图 数 /empirical distribution function 定 尽 14. 2.5 

紧密 性 /tightness ”定义 8. 4. 23 

近邻 密度 估计 /nearest neighbors density estimate 定 你 14.5.4 

局 部 可 积 /locally integrable ”定理 26.5.3 

局 部 裔 /local martingale ” 定 光 29.6.2 

指 绝 域 /ecritical region 13.1 

算 /monent 定 光 4.3.1 

原点 矩 /monent about origin 定 关 4.3.1 

中 心 第 /monent about eentre 定 光 4.3.1 

绝对 抑 /absolute monent 定 半 4.3.1 

皂 母 吨 数 /monent generating function 定 区 5.2.8 

抵 估 计 法 /method of monent 定 光 1, 3.12,23.8.3 

距离 判别 法 则 /distance discrimnination rule 定 妈 18. 5. 15 

诀 定性 (确定 性 ?马尔 可 去 策略 /deterministic Markov policy 
定义 35. 3.2 

说 定性 (确定 性 ?平衡 策 酷 /deterrministic stationary policy 
定 闵 35.3.3 

绝对 问 /absolute deviation ” 定 尺 4.2.8 

绝对 可 积 /absolutely integrable 定 你 27.9.2 

均 方 可 积 /mean square integrable 定 你 22.2.23 

均 方 可 积 淮 则 /mean square integrability criterion 定理 22. 2. 24 

均 方 可 微 /mean square difierentiable 定 妇 22. 2. 20 
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均 方 可 微 准则 /mean square differentiabjlity criterion 
定理 22. 2. 21 

均 方 连续 /mean square continuous ” 定 妇 22. 2. 18 

均 方 连续 准则 /mean square continuity criterion ”定理 22.2. 19 

均 方 收 化 Amean square convergence 定义 22. 2. 10 

均 方 收 敦 的 柯 西 准则 /Cauchy eriterion for mean square 
convergence 定理 22.2.12 

均 方 收 合 的 洛 也 甫 准则 /loéve eriterion for mean square 
convergence 定理 22. 2. 14 

的 方 误差 /mean square error 定义 11.2.4 

均 方 根 凑 /mean square root variance 21.1.12 

均 方 最 优 预报 /mean square optimum prediction ”定义 31.1.1 

均值 /rmean 定 兴 4.1.2 

均值 函数 /mean funetion 21.1.12 

均值 的 多 重 比 较 /multiple comparison of means 16. 4 

询 匀 分 布 ( 一 致 分 布 ) /uniform distribution 定 闵 .5.1 

支 集 /support 例 26.5. 10 


K 


卡尔 曼 滤 波 /Kalman filter 31.6.1 

科 尔 莫 龙 罗 去 重 对 数 律 /Kolmogorov's law of large number 
定理 9.3.3 

科 尔 莫 巧 罗 夫 存 在 性 定理 /Kolmogorov’s existence theorem 
定理 21. 1.11 

科 尔 黄 巧 罗 夫 检 验 /Kolmogorov test 定理 13. 5.5 

科 尔 莫 蕊 罗 夫 0-1 律 /Kolmogorov 0-1 law 定理 8$.3.5 

科 尔 莫 龙 罗 夫 强 大 数 律 /Kolmogorov’s strong law of large 
number 定理 9, 1.4 
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科 尔 葛 戈 罗 夫 三 级 数 定理 /Kolmogorov three series theorem 
定理 8.3. 16 

科 尔 莫 艺 罗 夫 相 容 性 定理 /区 olmogorev consistency theorem 
定理 7.2.18 

科 尔 偶 戈 罗 去 向 后 方程 /长 olmogeroy backward equation 
定理 25. 3. 2 

科 尔 蔓 龙 罗 夫 向 前 方程 /Kolmogorov forward equation 
定理 35.3.1. 

柯 替 兰 定理 /Cochran theorem ”定理 6.4. 16, 定 理 18. 1. 22 

柯 西 不 等 式 /Cauchy inequality 定理 4.4.10 

柯 西 分 布 /Cauchy distribution 定 六 6.5.24 

可 变 类 平均 法 /feasible group average method 方法 19.3.5 

可 变法 /feasible method 方法 19.3.4 

可 列 过 程 /denumerable process 21. 2. 1 

可 测 变 换 /measurable transformation 7.2.3 

可 测 过 程 /measurable process 定 光 21. 5.1 

可 测 闻 数 /measurable function 定 双 了 .2.4 

可 测 集 /measurable set 定妆 77.1.5 

可 测 宝 间 /measurable space 定 丸 了 .1.5 

订 分 /separable 21.3.1 

订 分 集 /separable set 21.3.1 

可 分 修正 /separable modification 21.3.56 

可 积 变 差 蒜 /martingale of integrable variation 定 光 29.6.1 

可 积 增 量 过 程 /integrable increment process ”定义 29.6.1 

可 及 时 /accessible time 定 又 29. 06, 在 

可 及 跳 过 程 /accessible jump process 定 灶 29.6.6 

可 靠 度 函 数 /reliability function 式 (33.1) 

可 靠 性 理论 /reliability theory 33.1 
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可 这 边界 /attainable boundary 定 浆 25.3,6 
可 料 这 程 /predictable process ”定义 21. 5.5 
可 道 滑动 平均 模型 /invertible moving average model 
定义 23.7.2 
可 道 扩散 过 程 /invertible diffusion process 25.8 
可 道 性 条 件 /invertibility condition” 定 浆 23.7.2 
可 选 过 程 /optional Process 定 你 21. 5.5 
可 用 度 /availability 33.8.1 
克拉 美 - 列 维 定理 /Cramer-Levy theorem 定理 6.4.3 
克拉 美 - 侯 定 理 /Cramer-Rao theorem 定理 11, 2. 16 
刻度 参数 /scale parameter 定 光 4.2.6 
空间 齐 深 /spacial homogeneous 26.2.7 
控制 收 黎 定理 /dominated convergence theorem 定理 8.2.3 
跨度 /span 27. 1 
扩散 过 程 /diftusion process 。 25, 1, 1 ,定义 25.2.1; 定 义 25.2.4 
扩散 基本 恋 换 定 理 /elementary transformation theorem for 
diffusion 25. 3. 3 
扩散 近似 /approximatioen by diffusion 25.1.2 
扩散 系数 /diffusion parameter 25.2.1 
扩张 /extension 定 交 7,1.10 


L 


近东 - 尼 可 丁 定理 /Radon-Nikodim theorem 定理 7.4.5 
控 普 拉 斯 分 布 /Laplace distribution 定义 看 5. 22 
莱 赫 龟 - 谢 非 定理 /Iehman-Scheffe theorem 定理 11.2.9 
琐 特 - 非 舍 模型 /Wright-Fisher model 25.€ 
勒 岁 格 定 理 /Lebesgue theorem 定理 7.4.4 
累积 量 /cumulant 定 兴 5.1,7;27.3.3 
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类 平均 法 /group average method 方法 19.3.5 
离散 均 名 分布 /discrete uniform distribution ” 定 半 在 了 .55 
一 状态 过 程 //discrete state process 21.2.1 
离散 卷 积 公式 /discrete convyolution ”定理 3.4.1 
一 套数 随机 过 程 /stochastic process with discrete 
Paratmeter 21.2.1 
艇 斯 分 解 /Riesz decomposition 定 双 29.4.2 
历 忠 /history 定义 35. 3.4 
李 雅 善 诺 去 定理 /Liapnov theorem 10.1.10 
连续 参数 /continuonas parameter 21.2.1 
连续 过 程 /continuous process 21.3.3 
一 状态 过 程 /continuous state process 21.2,1 
一 参数 马尔 可 夫 链 /Markov chain with continuous 
parameters 定义 24.2.1 
连续 随机 动力 系统 /econtinuous stochastic dynamical 
System 30.5.2 
连续 蒜 /continuous martingale 式 (29. $) 
年 龄 /age 27.9.2 
列 联 表 /contingency table 于 13.1 
列 维 过 程 /lavy process ”定义 27. 1.4, 定 理 27.2.2, 定 理 27.2.4 
列 维 - 辛 软 定理 /Levy- 玫 hinchine theorem 定理 10. 2. 6 
困 帮 扑 格 条 件 /Lindeberg condition 定 10.1 14 
临界 各- 殉 过 程 /critical G-W process 定义 28, 1 2 
临界 商 /eritical quetient 定义 14.3.2 
郭 接 和 矩阵 Aconeetion matrix 定 妈 33.6.2 
零 常 氨 /null recurent 定 类 24.1.8 
零 一 律 /zero-or-one law 性 质 26. 3.2 
零 交 /zevo crossing 22.4.4 
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岭 回归 /ridge regression 15.$.1 

准备 系统 /cold redundance system 33.4.2 
逻辑 斯 蒂 方 程 /iogistic equation 30. 5,1 
逻辑 斯 鞍 分 布 /iogistic distribution ”定义 6.5.30 
路 径 /path 定 21.1.7 

路 径 向 量 //path vector 定义 33.6.1 

滤波 /filtering 31.1 

滤波 误差 /filter error 31.6.1; 式 (31. 37) 


M 


马尔 可 失 分 支 过 程 /Markov branching process 定 浆 28.6.1 
马尔 可 去 过 程 /markov process 定义 24.2.1 

马 蛤 拉 诺 比 斯 距离 /Nlahaianobis distance 定 19.5.11 
可 和 尔 可 夫 决 策 规 划 /Markov decision programming 38.1 
马尔 可 去 闷 策 过 程 /Markov decision process 35,1 

马尔 可 去 本 修复 系统 /Markov maitainable system 33.8. 3 
马尔 可 去 链 /NMarkov chain 定 尺 21.2.3 

马尔 可 去 时 人 间 /Markov time 定 兴 24.3.4 
马尔 可 夫 性 /Markov Property 定 学 24.1. 1 

密 庶 /density 3.1.€ 

灭 移 概率 /extinction probability 28.1.3 

脉冲 响应 /impulse respovse ”定理 23. 6. 4 

模型 识别 /discriminante of the model 23. 9. 2 

蒙特 卡 罗 方 法 /monte-carlo method 34.5 

目标 函数 /objective function 模型 35. 2.1 

末 离 时 /ast exit time (guitting time) ”定义 26.3.9 
忙 期 /busy period 32.1.3 


有， 


N 


奈 曼 -皮尔 森 引 理 /Neyman-Pearson lemma 35|[ 理 13.3.4 
所 水 平 法 /pseudo level method 表 17,9 

和 牛顿 二 项 公式 /Newton's binomial formula 定 半 6.1.4 
牛顿 势 /Newton potential ” 定 光 26. 5.7 


P 


帕 雷 托 分 布 7Pareto distribution 定 妈 65. 28 
帕斯卡 分 布 7Pascal distribution 定义 6.1.9 
排队 规则 /queue discipline 32.4.2 
排队 过 程 /gueueing process 32.1.1 
排队 系统 /queueing system 32.1.1 
判别 法 则 /diseriminant rule 18.5.1 
基 别 分 析 /discriminant analysis 18.53 
偏 度 /skewness 定 半 不 本 4 
偏 自 相关 了 奶 数 /partial correlation function” 定 多 23.7.8 
偏 相 关系 数 /partial correlation coefficient 定 头 18. 4. 13 
遍历 /ergodic 23.3.3 
遍历 状态 /ergodic state 23. 3.3 
平方 可 积 蒜 /square integrable martingale ”定义 29, 5.1 
平衡 测度 /equilibrium measure 定 巡 26.5. 13 
平衡 势 /equilibrium potential 定 26. 5.11 
平均 绝对 误差 /mean absolute error 定 11.2.5 
平均 期 望 报酬 /expected average reward 定义 35,4.7 
平稳 分 布 /stationary distribution 定义 24.1.15 
平稳 过 程 /stationary Process 定 必 22.3.3 
平稳 /stationary 22. 23 
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平稳 分 布 /stationary distribution 定 允 24.1.15 
平稳 过 程 /stationary Ptocess 定 以 22. 3.3 

平稳 自 回归 模型 /stationary autoregressive model 定义 23.7.1 
平稳 时 间 序 列 /stationary time series 23.1.1 
平稳 相关 /stationary correlative 定 风 23.6.6 

平稳 性 条 件 /stationary condition 式 (23. 23) 

平稳 正 态 过 程 /stationary normal process 定义 23.4.1 
平移 不 变性 /transition invariance 26. 2.1 

频率 /frequency 定妆 1.2.1 

频率 函数 /frequency function 定 浆 11.1.12 

频率 响应 函数 /freguency response function ”定理 23.6.2 
泊 松 迪 近 /Poisson approximation 式 (6. 2) 

泊 松 分 布 /Poisson distribution 定 穴 .2.1 

泊 松 极限 定理 /Poisson limit theorem 定理 10. 1.6 

谱 /spectral 23.2 

谱 表 现 定理 /spectral representation theorem 23.2.8 
谱 测 度 /spectral measure 23.2.3 

谱 窗 函数 /Aspectral window function 式 (23. 54) 

谱 分 解 定 理 /speetral decomposition theorem 23. 2.2 
谱 分 析 /spectral analysis 23.9 

谱 过 程 /spectral process 23.2.9 

谱 晒 数 /spectral function 23.2.3 

谱 密 度 /spectral density 23.2.3 


地 


期 望 总 报酬 /expected total rewrard 35. 4. 3 
齐 次 独立 增 量 过 程 /homogeneotus process with indebendent 
increhment 定 光 27,1,2 
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齐 次 马尔 可 到 过程 ( 链 )Ahomogeneous Markov process(chain) 
定义 24.1.5 

齐 次 泊 松 这 程 /homogeneous Poisson process 定义 22.5,2 

齐 次 性 检验 /test of homogeneity (14.15) 

冶 异 /singular 定 允 28. 4.1 

奇异 分 支 过 程 /singular branch brocess 定 蚁 28.4. 上 上 

奇异 扩散 过 程 /singular diffusion process 25.2.4 

强大 数 律 /atrong law of large number 定 装 9.1.2,9.1.3 

强度 函数 Aintensity funetion 定 妇 14. 3 上 

强 可 测 过 程 /strong measurable process 定 尺 21.5.3 

强 马 尔 可 去 过 程 /strong Markov process 定义 24.3.5 

强 平 稳 过 程 /strong stationary process 23.1 

强 相合 估计 /strong consistent estimate ” 定 光 11.4.2 

切 尾 方 差 /trimmed varianee ” 定 灶 14.6.2 

切 尾 均值 /tritnmed mean 定 闵 14.6.1 

求 余 /complementation ” 定 关 1.1.7 

全 紧 性 /complete compactness 定义 8,4.22 

全 收 敦 /complete convergence 定义 8.4 

全 寿命 /total life 27.9.32 

要 函数 估计 /weight function estimate 例 14.5.8 

区 条 估计 /interval estimation” 定 必 41.1.7, 定 多 12.1.1 

局 部 可 积 变 差 靳 /local martingale of integrable veriation 
定 尽 29. 6.2 

和 抵 估 计 /estimmations of moments ”定理 30. 2.6 


R 


任意 抽样 定理 /optionai sampling theorem 定理 29. 2.4 
任意 停止 定理 /optional stopping theorem ”定理 29. 2.4 
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容 度 /capacity 26.5. 11 

容忍 区 间 /tolerance interval 定义 14.2.11 
容忍 限 /tolerance limit 定义 14.2.11 
软件 可 蕊 度 /software reliability 定 33.11.1 
软件 可 用 度 /software availability 定 沈 33.11.1 
瑞 利 分 布 /Rayleigh distribution 定 兴 6.5.18 
弱 大 数 律 /weak law of large number 定理 9.1.5 
骑 紧 性 /weak compactness 定义 8.4.19 

弱 平 稳 过 程 /weakly stationary process 23.1 

弱 收 艇 /weak convergence 定 闵 8.4.1 
热 备 系统 /hot redundance system 33. 和. 3 


S 


上 穿 不 等 式 /uperossing inequality 公式 29. 2. 3(4) 
上 黄 Asupermartingale 定 兴 29.1.1 
生 亚 过程/birth and death process 定义 24. 2. 22 
剩余 寿命 /excess life 27.9.2 
失效 率 函 数 /failure rate function 式 (33.3) 
时 间 不 变 系 统 /time invariant system 定 尽 23.6 
时 间 序 列 /time series 21.2.1 
示 性 函数 /indicator funetion 定 尽 7.2.6 
执 的 基本 公式 /fundamental identity for porential ”公式 26. 5.9 
首 中 时 /hitting time ” 定 光 21.6.10 
寿命 数据 分 析 /analysis of life data 33. 10 
输入 过 程 /input process 32.1.2 
数学 期 望 /mathematical expectation 定 尺 4.1.2 
速度 密度 /speed density 定义 25.5.4 
和 速度 涯 度 /speed measure 定义 25. 5.4 

7780， 


双 因 素 方 差分 析 /t+wo-way analysis of variance 16.3 
顺序 统计 量 /order statistic 定义 3.4.7; 定 义 14.2.1 
纯 断 贰 /purely discontinuous martingale 定理 29. 5. 10 
纯 断 局 部 贰 /purely discontinuous iocal matingale 定义 29.6.7 
斯 皮尔 曼 秩 相关 系数 /Spearman rank correlation coefficient 

14. 4.6 
斯 特 林 公 式 /Stirling formula 6.4 
斯 划 尔 切 斯 积分 /Stieltjes integral 定 必 4.1.1 
似 然 比 检验 /likeiihood ratio test 定义 13.4.1 
似 然 比 序列 /sequence of likelihood ratios 例 29.7.4 
似 然 函 数 /iikelihood function ”定义 11. 2.15 
随机 变量 /random variable 3.1.1:7.2.5,34.2.1 
随机 场 /stochastic field… 定 妇 21.1.7 
随机 抽样 /random sampling ”定义 11.1.4.20,2.1 
随机 等 价 /random equivalent 定义 21.3.5 
随机 服务 系统 /stochastic service system 32.1.1 
随机 过 程 /stochastic process ”21.4.1: 定 类 21.1. 6; 定 光 21.1.7 
随机 连续 /random continuous” 定 尖 21.3.7 
随机 模拟 /Astochastic simulation 34.1 
随机 些 件 /random event 1.1.1 
随机 试验 /random experiment 1.1 
随机 数 /random number 34.2.1 
随机 微分 /stochastic difference 定义 30.3.1 
随机 向 量 /random vector 定 尖 3.1.10,7.2.5 
随机 向 量 过 程 /stochastic vector process 23.7 
随机 性 检验 /test of randomness 节 14.4.2 
随机 序列 /random sequence 21.2.1 
随机 游 动 /random walk 倒 21.1.1 
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随机 指定 /service in random order 32.1.2 
损失 制 /loss system 31.1.2 
损耗 /dissipative 定理 24. 3. 12 


T 


特征 函数 /ceharacteristic function 定 妇 有 1.1 

特征 极 值 /characteristic extrem 定 兴 14.3 3 

特征 算 子 /characteristic operator 定 革 21.6.10 

特征 指数 /characteristic exponent ”定理 10. 2. 18 

条 件 分 布 /conditional distribution 3.3.1 

条 件 概率 /conditional probability 定 疼 2.1.1,7.5.3 
条 件 扩 散 过 程 /conditional diffusion process 节 25.8 
条 件 密度 /conditional density 定 光 3.3.4 
条件 期 望 /eonditional expectation 定 光 4 ,13,7.5.2 
调和 基数 /harmonic function ” 定 26. 5.1 
跳跃 点 /jump point 定义 21.4.4 

跳跃 蕊 尔 可 夫 过 程 /Markov jump process 节 * 24.3.5 
停 时 /stopping time 定义 24.3.4 

同型 态 /same type state 34.1.11 

统计 量 /statistic 定 获 11.1.10 

统计 推断 /statistical inference 定 光 11.1.2 
退化 分 布 /degenerate distribution 定义 6.3.1 
特 普 利 芒 算 阵 /Toeplitz matrix ”等 式 (23. 31) 
拖 尾 性 /dies cut bradually 例 23.7.S 
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完备 统计 量 /complete statistic 定 芝 11. 2.8 
完全 可 分 /fully separable 定义 21.3.2 
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网 络 系 统 的 可 靠 度 /reliability of network system 33.6 
韦 布尔 分 布 /Weibuill distribution ”定义 6.5.15, 公 式 (33.5) 
韦 布尔 过 程 /Weibull process ”定义 22.5.5 
志和 尔 柯 克 森 秩 和 统计 量 /AWileoxon rank sum statistic 
定 光 14. 4.7 
维 纳 过 程 /Wiener process 定义 22. 4.13, 定 义 27.2.6 
维 纳 - 列 维 这 程 /Wiener-Lévy process 25.565 
威 沙 特 分 布 /Wishart distribution 18. 1 12 
尾 概率 竹 函 北 /generating function of tail probability 
定义 5.2.5 
化 随 机 数 /pseudo-random number 定义 34.2.2 
位 四 型 APhyse type 34.1.4 
位 扫 /potential 定义 29.4.1 
位 置 参 数 /location parameter 定 巡 4.1.16 
稳定 分 布 族 /family of stable distribution ”定义 10.2.16 
稳定 的 /stable 定 兴 29.5.8 
稳健 统计 /robust statistics 14.6 
沃 德 法 /Ward's method 方法 19.3.8 
沃 尔 德 基本 公式 AwWald's fundamental identity 公式 29.7.3 
无 放 回 抽样 /sampling without replacement 例 1.3.5,11.1.5S 
无 变 百 作用 的 双 因 素 方 差分 析 /two-way analysis of variance 
without interaction 16.3.1 
无 偏 估 计 /unbiased estimation 定 妈 1.2.2 
无 偏 检验 /unbiased test 定 兴 13. 3.7 
无 穿 可 分 分 布 旗 /family of infinitely divisible distributions 
定 尽 10. 2.2 
无 穿 小 方 盖 /infinitesimal variance 定 必 23.2.1 
无 穿 小 均值 /infinitesimaal mean 定 灶 25.2.1 
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无 穷 小 算 子 /infinitesimal operator 定义 21.6.3 

无 穷 小 期 望 位 移 /expected infinitesimal displacement 
定 光 25. 2. 1 

外 推 法 /extrapolation method 定义 31.1.1 


X 


吸收 点 /absorbing point 定义 2$.5.1 

吸收 态 /absorbing state 定 灶 24.1.11 

吸引 场 /domain of attraction ”定义 14.3.9 

吸引 边界 /attracting boundary 定 必 25. 5. 看 

系统 抽样 /systematic sampling 20.5.2 

下 半 连 续 /lower semi-continuous 26. 3,5 

下 耽 /submartingale” 定 交 29.1.1 

下 拷 不 等 式 /maximum inequality for submartingale 

公式 29. 2.3 

先 验 分 布 /prior distribution 定义 11.5.1 

显著 性 水 平 /evidence lavel 定义 13.1.2 

现在 寿命 /current life 27.9.2 

线性 模型 /linear model 23.7,1 

线性 规划 /linear programming 35,6.6 

线性 位 势 /linear potention 26.6 

线性 系统 /linear system 定 尺 23.6.1 

相合 估计 /consistent estimate。” 定 凡 11.4.1 

相关 /correlation 定 人 光 4.4.5 

相关 理论 /correlation theory 21.1.12 

相关 系数 /correlation coefficient 定 久 4.4.5 

和 相关 阵 /correlation matrix 定 迷 4.5.5 

' 相 雁 分 布 函 数 族 /family of consistent distribution funetions 
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7.2. 16 
相 容 性 条 件 /consistency condition ”定理 21. 1.11 
相似 性 /similarity 19,3.1 
相 异 性 /dissimilarity 19. 18) 
相 空 间 /phase space” 定 光 21.1.6 
相位 特性 /phase characteristic 定理 23. 6.3 
向 后 方程 组 /system of backward equations 式 (24. 9) 
向 前 方程 组 /system of forward equation 式 (24. 10) 
小 修 策 略 /minimal repair policy 方法 33.9.3 
德 正 Anodifcation 定 父 21.3.5 
协 方差 /covariance 定 尖 4.4.5 
协 方差 消 数 /covariance function 定 尖 21.1.12 
协 方 差 阵 /covariance matrix 定义 4.5.1 
新 息 定理 /new information theorem 定理 31. 3.2 
新 息 序列 /new information series 定 光 31.3.1 
行动 空间 /action space 模型 35. 2. 1 
行动 柴 /action set 35.2.1 
循序 过 程 /progressive process 定义 21.5.4 
线性 趋势 /inear trend 31.4.3 
先 到 先 服务 /first-come-first-served 32.1 2 


YY 


以 概率 1 为 阶梯 函数 /atep function with pvobability 1 
定义 21.4.7 

压 纠 算 子 半 群 /semigroup of constraction operators 
21.6.2,24.3.4 

延迟 算 子 /delay operator 式 (23. 23) 

延迟 和 窗 /lag window 式 (23. 53) 
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《加 》 款 /martingale 定 头 21.2.6; 定 六 29.1.1 

靳 特性 /martingale characterization 25.8 

样本 /sample 定义 11.1.3 

样本 方差 /sample variance 定 光 1.2.3 

样本 分 位 数 /sample quantile 定 艾 14.2.7 

样本 函数 /sample function 定 妈 21.1.7 

样本 均值 /sample mean 定 沁 11.2.3 

样本 空间 /sample space 1.1 

样本 中 位 数 /sample median ” 定 交 14.2.7 

一 致 最 优 检 验 /uniformly most powerful test 定 多 13.3.3 

依 分 布 收获 /convergent in distribution ” 定 兴 8.1.4 

依 分 布 连续 的 /continuous with distribution 定 闵 21.3.7 

依 概 率 收 化 /convergent in probability 定 巡 8.1.1 

依 令 分 枝 过 程 /branching process dependent on ages 28.3 

依 “> 阶 矩 收 禾 Aconvergent in moment of order r 定 光 有 .1.3 

伊 茧 恋 换 公式 /fto stochastic transformation formula 
公式 30.3.3 

伊 胶 分 解 /Ito decomposition ”定理 27. 3.3 

一 维 离散 分 支 过 程 /one dimention discrete time branching 
process 定 妈 28.1.1 

耶鲁 沃克 方程 /Yule-Walker equation 式 (23. 31) 

优先 服务 规则 /service according to priority 32.1.2 

有 放 回 抽样 /sampling with replacement 例 1.3,3, 定 光 11.1.5 

有 交互 作用 的 双 因 素 方 差分 析 /two-way analysis of variance with 
interaction 16.3.2 

有 漂移 的 布朗 运动 /Brown motion with drift (25. 19) ,25. 3. 4 
C2) 

有 杀 的 扩散 过 程 /diffusion process with killing 2S.8 
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有 限 变 差 过 程 /Pproeess of finite variation 定 光 29.6.1 

有 限 变 差 靳 /martingale of finite variation 定 光 29.6.1 

有 限 方 差 计 程 /finite variance process 21.2.1 

有 限 过 程 /finite process 21.2.1 

有 限时 段 模型 finire-stage model 定义 38. 5,1 

有 限 维 分 布 族 /family of finite dimensionai distribution functions 
定义 21.1.10 

有 限 尖 排队 /finite souree queue 42. 2.3 

右 连 续 ( 左 连续 ) 过 程 /right-continuous (left-continuous)》 process 
21. 3.3 

余 划 波 过 程 /cosine wave process 例 22.1.2 

预报 /prediction 31.1.1 

预报 矢量 /prediction vector 定 妇 31.2.4 

预 查 法 /pretest method 20.3.5 

闹 交 /threshold crossing 22,4.4 

域 /fiald 定 交 7.1.1 

株 假 设 《 零 假设 }/null hypothesis 13.1 


也 


在 原点 反射 的 布朗 运动 /Brown motion reflected at the origin 
定义 26. 4.2 
在 工 有 了 肯 收 揭 布 朗 运 动 7Brown motion absorbed at 之 
定义 26. 4.1 
增长 条 件 /growth condition” 定 光 30.3.8 
暂 留 的 /transient 26. 3.9 
折扣 模型 /djscounted model 定 光 38,6.1 
折扣 国 子 /discounted factor 定 史 3S, .在 
折扣 报酬 向 量 /discounted reward vector 定义 35.6.2 
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折扣 最 优 策略 /discounted optimal pojliey 定 作 35.6.3 
振幅 特性 /amplitute characteristic 定理 23. 6. 3 
正规 则 /positive regular 定义 28.4.2 

正规 则 G-W 过 程 /positive regular G-W process 定义 28.4.2 
正规 方程 /normal equation 式 (15. 18) 

正常 运 /positive recurent 定 光 24.1.8 

正 变形 /orthogonal table 17.1.1 

正 交 不 变性 /orthogonal invariance ”性质 26. 2. 1 

正 交 设计 /orthogonal design 17.1.1 

正 交 因子 模型 /orthogonal faetors model 19.2.1 

正 交 增 量 这 程 /orthogonal inerement proeess 定义 22.3.6 
正 态 白 噪 声 /notrmal white noise” 定 光 22,4. 13 

正 态 分 布 /normal distribution ”定义 .4.1 

正 态 过 程 /normal process 定 尽 22.3.1 

正 态 过 程 的 不 变性 /invariance of normal process 性质 22. 4.4 
正 态 马 尔 可 夫 过 程 APnormal and Markovian process” 定理 22. 4.5 
正则 过 程 /regular process 31. 

直方 图 /histogram 14.1 
直方 图 密度 估计 /histogram density estimate 14.5.1 
十 和 /direct surm 定 汉 1.1.7 

直线 上 前 布朗 运动 /Brown tnotion on a line 应 用 22. 2. 25 
直接 歼 曙 可 积 /directly Riemann integrable 定 光 27.9.2 

中 数 分 布 /exponential distribution 定 闵 6.5. 4; 式 (33, 5) 
指数 型 分 布 /distribution of exponential type 定义 14. 3.6 
指数 赵 势 /exponential trend 31.4.3 

秩 统 计量 /rank statistic 14.4.1 

蚂 信 和 区间/eonfidence interval : 定 习 12.1.2 
牌 信 水 平 /confidence level 定义 12.1.2 
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置信 和 限 /contfidence limit 定义 12.1.4 

周期 图 /periodogram 定 灶 23.9.4 

周期 欧 执 /periodic trend 31.4.3 

中 则 上 距离 法 /median method 19.3.3 

中 位 数 /median 定 兴 1.18 

中 心 极 了 路 定理 /central limit theorem 式 (10. 1), 定 艾 10.1.7 

中 心 化 过 程 /centralized process 定义 27.3.1 

众 数 /mode 4.1.21 

重心 法 /gravity centre method “方法 19.3.7 

逐步 回归 /stepwise regression 15.4 

主 成 份 /principal component 18.6.1 

转移 半 群 /transition semi-group 节 24.3.4 

转 称 函数 /transition function ”定义 24.2.2 

状态 /state 21,1.6 

状态 空间 /state space 21.1.6 

状态 转移 率 图 /state-transition-rate diploma 图 32. 1 

自分 解 分 布 族 /family of self-decomposible distribution 
定义 10.2.12 

白 回 当 集 成 滑动 平均 模型 /autoregressive integrated moving 
avetage model 定 交 23. 10. 1 

自 协 方差 函数 的 估计 /estimation of autocovariance function 
(23. 35) 

自 相 关 函 数 /auto-correlation function 定 尽 21.1. 12， 
定义 23.3.6 

自助 法 /bootstrap ”方法 18. 5. 24 

综合 平衡 法 /synthesis balence method 17.2.1 

综合 评分 法 Aunthesis evaluating method 17.2.2 

冯 体 /population 定 关 11.1.1 
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总 体 分 布 /distribution cf Population 定 尽 11.1.2 

最 长 距离 法 /longest distance method 方法 19.3.2 

最 大 根 统 计量 /largest root statistic 定 光 18. 1.39 

最 大 秩 过 程 /maximum rank process 定义 23. 2.3 

最 短 距 离 法 /shortest distance method 方法 19.3.1 

最 小 二 履 怖 计 /least squares estimate 23.8.4 

最 小 二 履 法 /method of jeast squares 式 (15. 2) 

最 小 方差 元 偏 和 估计 /minimum variance unbiased estimate 
定义 11.2.6 

最 小 割 向 量 /Aminimal cut vector 定义 33.6.1 

最 小 路 向 量 /minimal path vector 定 光 33.6.1 

最 小 过 程 /minimal process 定理 24. 2. 10 

最 小 割 集 /minimal cut set 33.€.1 

最 小 损失 判别 /minimum loss discrimination 定 光 33.6.1 

最 小 信息 淮 则 /minimum information criterion 23.8.5 

最 小 Q 过程 /minimal Q-process 定理 24. 2. 18 

最 优 策略 /optimal policy 定 光 35.5.2 

最 优 方 程 /optimal equation 定理 35.5.5 

最 优 渐 近 正 访 佑 计 /best asymptotically normal estimate 
定义 14.4.4 

最 优 期 望 总 报酬 /obtimunm expected total reward 35.5.5 

最 优 线性 递 推 滤 波 /optimum linear recursive filtering 31.6.1 

最 优 线性 预报 /optimum linear prediction” 定 必 31.1.1 

最 优 折 扣 期 望 报酬 向 量 /optimal expected discounted reward 
vector 定理 35. 6.2 

左 ( 右 ) 随 机 连续 /lefttright) randomly continuous 21,3.7 

稚 判 别 法 /cone criterion ”定理 26.5.6 

如 分 布下 distribution 定 习 在 4.24 
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下 检 验 /F test 15.2.4 

多 t 活 应 过 程 /process adapted to (Ft) 定 半 21.2.6 

G-W 过 程 的 母 函 数 方 程 /Generating function of G-W process 
式 (28. 2) 

下 均值 法 /K-means method 方法 19. 3,13 

-out-of-nCF) 系统 /Ek-out-of-n(F) system 例 33.5.2 

M 秸 计 /M-estimate 定 兴 14. 6.5 

n 步 转 称 概 率 和 -step transition probability 定义 24.1.3 

zf 分布/ distribution 定义 6.4.18 

7? 分 布 /Taz distribution 定 尺 18.1.28 

7T? 统计 量 /Tz statistic 推论 18. 1. 30 

QQ 过程/Q-process ”定理 24. 2. 18 

总 过 程 的 唯一 性 准 册 Auniqueness criterion for Q-process 
定理 24. 2. 21 

分布 /beta distribution 定 兴 6.5.11 

厂 分 布 /gamma distribution ”定义 6.5.7; 公 式 (33.7) 

点 分 布 /A distribution 定 闵 18.1.34 

A 统计 量 /A statistic 定义 18. 1. 34 

上 连续 /uw-continuous 定义 T.4.3 

关 坷 异 /prsingular .定义 7.4.3 

o 代数 /og-algebra 定 忱 了 了 .1.3 

g 有 限 测度 /o-finite measure 定 巡 了 .f 1 

c 域 /cfieid 定义 7.1.3 

辣 分 布 /YX distribution 定义 6.4.11 

x 统计 量 /X: statistic 定义 13.5.1 
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absolute deviation/ 绝 对 差 定 叉 42.8 

absolute moment/ 绝 对 条 定 导 43.1 

absolutely integrable /绝对 可 积 ”定义 27.9.2 

absorbing point7 了 吸收 点 ” 定 浆 25. 5.1 

absorbing state/ 吸 收 态 ” 定 你 24.111 

accessible time/ 可 及 时 定 光 29.6.6 

accessible jump Proceessy 可 及 跳 过 程 定 29.6.6 

action space/ 行 动 空间 模型 35. 2.1 

age policy/ 按 龄 更 换 策略 ”方法 33.9.1 

Akaike information criterivon/ 赤 泄 信息 准则 ”23.8.5 

algebray 代 数 定 区 3.1.1. 

almost step/ 几 乎 阶梯 的 ”21.4.4 

alternative hypothesis/ 备 择 假 设 定 巡 13.1.1 

alternative least sqguares/ 交替 最 小 二 乘法 19.4.3 

amplitute characteristic/ 振 幅 特 性 ”定义 23.6.3 

analysis of life data/ 寿命 数据 分 析 节 33. 10 

approxitnation by diffusion/ 扩 散 近 似 25.1.2 

aresine law/ 反 正弦 律 定理 26. 2.6 

arrival processy 到 这 过 程 32. 1.2 

asymptotically deterministic/ 源 近 定 常 的 31.6.3 

asymptotically normal estimatey 少 近 正 态 估 计 定义 11.4.3 

asyinptotically Optimal empirical Bayes estimation 
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/ 浙 近 最 优 经 验 贝 叶 斯 估计 定义 11.5.19 
asymptolic variance/ 渐 近 方 差 。 定 11,4.3 
attainable boundary/ 可 达 边 界 定义 25. 5.6 
attracting boundary/ 吸 引 边 界 ”定义 25.5.6 
auto-eorrelation function/ 自 相关 函数 ” 定 头 21. 1. 12， 

定义 23.3.6 
auto regressive integrated moving average model 

/ 自 回归 集成 阐 动 平均 模 弄 ”定义 23. 10.1 
availability/ 可 用 度 33.8.1 


B 


back ward induction/ 向 后 归纳 法 ”33.5.7 
Bayes discrimination/ 贝 叶 斯 判别 ”18. 5.2 
Bayes estimate/ 由 叶 斯 千 计 定 半 11.5,11.5.6 
Bayes formula/ 贝 叶 斯 公式 ”定理 2.1.7 
Bayes interval estimation/ 内 叶 斯 区 间 估 计 12.2 . 
Bernoulli's law of large number/ 怕 努 利 友 数 定 律 ”定理 9.1.1 
Bernotli trials/ 怕 努 利 试验 ”定义 2.3.4 
Berry-Essen theoremy 由利 - 埃 森 定理 10.1.12 
Bertrand paradox/ 贝 特 朗 奇 论 例 1.43 
Bessel function/ 贝 寨 尔 函数 ”定义 26.3.7 
best asymptotically normal estimate/ 景 优 渐 近 正 态 知 计 
定 凡 11.4.4 
Beta distribution/B8 分布 定义 6.5.11 
binormial distribution/ 二 项 分 布 定义 6.1.4 
birth and deatb process/ 生 天 过 程 定 24.2.22 
bivariate normal distributiony 二 元 正太 分布 定义 6.6.1 
block policy/ 成 批 更 换 策 格 ”方法 33. 9.2 
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Borel-Canteili iemmay 博 雷 尔 - 康 特 利 引 理 引 理 8.3.1 
Berel's law of large number/ 博 雷 尔 大 数 定律 ”定理 9.1.2 
Borel measurable process/ 博 雷 尔 可 测 过 程 定 风 21,5.1 
Borel space/ 博 雷 尔 空间 定 风 37.1.9 

Borel 0 一 1 law/ 博 雷 尔 0 一 1 律 ”定理 8. 3.2 

bootstrap/ 自 助 法 方法 18. 5. 24 

boundary/ 边 界 表 25.5.6 

pranch process/ 分 支 过 程 ”28. 4.1 

Brown bridge /布朗 桥 ” 定 26. 4. 12 

Brown moetion/ 布 朗 运 动 ” 例 21.1.4,22.2.25, 定 义 26.1.2 
Brown motion absorbed at x/ 在 x 有 吸收 的 布朗 运动 


定 尽 26.4.1 
Brown motion reflected at the origin/ 在 原点 反射 的 布朗 运动 
定义 26. 4.2 


Brown motion on a line/ 直 线 上 的 布朗 运动 ”应 用 22. 2.5 

Brown motion with drift/ 有 汀 移 的 布朗 运动 《〈25. 19)， 
定理 25. 3. 4(2) 

bulk service/ 成 批 服 务 。 32.3.2 = 

busy period/ 忙 期 32.1.3 


C 


canonical correlation7 和 不 则 相关 39.1.1 
canonical correlation variabies /上 典 则 相关 变量 19, 1.1 
canonical correlation coefficients/ 典 则 相关 系数 19.1.1 
capacity/ 窗 度 19.1.1 
Cauchy criterion for mean square convergencey 均 方 收 黎 的 柯 西 
准则 ”22. 2, 12 

Canchy distribution/ 柯 西 分 布 ”定义 6. 5. 24 
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Cauchy inequalityy 柯 西 不 等 式 ”定理 4.4.10 
central limit theorem/ 中 心 极限 定理 (10.1); 定 浆 10.1.7 
centralized process/ 中心 化 过 程 定 巡 27.3.1 
Chapman-Kojmogorov equation/ 查 普 曼 - 科 尔 莫 龙 罗 夫 方程 

性 质 24. 1.4, 性 质 24. 2. 3, 定 你 24. 3.2 
characteristic exponent/ 特 征 指数 ”定理 10. 2. 18 
characteristic extremy 特 征 极 值 定 民 14.3.3 
characteristic function/ 特 征 陆 数 定 沈 5.1.1 
characteristic operator /特征 算 子 定 交 21.56. 10 
Chi squared distribution/ 兴 分布 定 尖 6.4.8 
classical probability/ 古 上 典 概 率 ” 定 光 .3.1 
closure/ 闭 包 性 质 22. 4. 4 
Cochran theoretn/ 柯 赫 兰 定理 ”定理 6. 4.16, 定 理 18. 1, 22 
cold redundance systemy/ 冷 备 系 统 33.4.2 
comptementationy7 求 余 定义 1 二 .17 
complete compactness/ 全 紧 性 定 尖 8.4.22 
complete convergence/ 全 收 侣 定 艾 8. 4.1 
complete statisticsy 完 备 统计 量 定 头 11.2.8 
compound Poisson process/ 复 合 泊 松 过 程 定义 27.6.4 
conditional density/ 条件 密度 ” 定 闵 3.3.4 
conditional diffusion process/ 条 忻 扩散 过 程 25.8 
conditional distribution/ 条 件 分 布 3.3.1 
conditional expectation/ 条 件 期 望 ” 定 尖 4.1.13,7.5.2 
conditional probability/ 条 忻 构 率 ” 定 关 2.1.1,7.5,3 
conection matrix/ 邻 接 和 矩阵” 定义 33.6.2 
confidence intervyal/ 置 信 区 间 ”定义 12.1.2 
cone criteriony 锥 判别 法 “定理 26. 5.6 
confidence level/ 置 入水 平 定 尺 12. 1.2 
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confidence limit7 置 信 限 定 汉 12 1.4 
consistency conditiory 相 容 性 条 件 ”定理 21.1. 11 
consistent estimatey 相 合 估 计 定 关 11.4.1 
contingency table/ 列 联 表 表 13.1 
continuous martingale/ 连 续 款 式 (29. 5) 
continuous parameter/ 连 续 参 数 过程 21.2. 1 
continuous process/ 连 续 这 程 ”定义 21. 3.3 
-continuous stochastic dynamical system/ 连 续 随 机 动力 条 统 
30. 5.2 

continuous with distribution/ 依 分 布 连续 的 ” 定 几 21.3.7 
contrary/ 对 开 ” 汗 半 1.1.5 
convergent almost everywhere/ 几乎 处 处 收 敦 ” 定 尖 8.1.2 
convergent in distributiony 依 分 布 收敛 ” 定 迷 8.14 
convergent in moment of order rx/ 依 7 阶 征收 部 定 兴 8.1.3 
convergent in probability/ 依 概率 收 伐 定 交 $$.1.1 
correlation/ 相 关 定义 4: 44. 5 
correlation coefficient /相关 系数 定 半 4.4.5 
correlation matrixy 相 关上 矩阵 定义 4.5.5 
correjlation theoryy 相 关 理 论 ” 定 允 21.1.12 
cosine wave process/ 人 余弦 波 过 程 例 22.1.2 
counting process/ 计 数 过 程 ” 定 22. 5.1 
covariance/ 协 方差 定义 4.4.5 
covariance functiony 协 方差 函数 ” 定 光 21.1., 12 
covariance matrix/ 协 方差 朱 阵 定 光 4.5.1 
Cramer-Lévy theorermy 克 拉 墨 - 列 维 定 理 定理 6. 4.3 
Cramer-Rao theoremy 克 拉 墨 - 饶 定 理 定理 11.2.16 
critical GG-W brocessy 临界 G-W 过 程 ” 定 沁 28. 1.2 
critical regiony 拒 绝 域 定 久 13.1.1 
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critical quotient/ 赂 界 南 定 光 14.3.2 

cross correlation function7 互 相关 国 数 定 妈 23.6.7 
cross covariance function/ 互 协 方 差 渗 数 ” 定 光 21.1.13 
cross spectral density/ 互 谱 密 度 定 色 23.6.9 

cross spectral function/ 瑟 谱 函 数 ” ”性质 23. 6. 10 
crossing characteristicy 相互 特征 ”29. 5. 12 

cumulant 累积 量 定 光 5.1.7,27.3.3 

current life/ 现 在 寿命 27.9.2 

cut of/ 截 尼 性 式 (23. 26) 


D 


degenerate distribution/ 退 化 分 布 定 尺 和 .3.1 

delay operator/ 延 迟 算 子 式 (23. 23) 

De Moivre-laplace central limit theorem/ 棣 莫 弗 - 拉 普 拉 斯 中 心 

极限 定理 10.1.1 

Denkin condition/ 邓 肯 和 条件 式 (25.7) 

Denkin formula/ 学 肯 公 式 性质 21. 6.9 

density/ 密 度 定义 3.1.6 

denurmerabte processy7 可 列 过 程 21.2.1 

deterministic Markov poiicyy 确 定性 马尔 可 夫 策 略 ”定义 353.3.2 

deterministic process/ 确 定性 过 程 2141.1 

deterministic stationary policy /确定 性 平稳 策略 ” 定 灶 35. 3.3 

dies cut bradually/ 扼 尾 性 例 23.7.5 

difference/ 闫 定 灶 1.1.6 

diffusion parameter/ 扩散 系数 定 沈 2.2.1 

diffusion processy/ 扩 散 过 程 25.1.1, 定 叉 25,2.1, 定 义 25.2.4 

diffusion process with killings/ 有 杀 的 扩散 过 程 ”25. 8 

directly Riemann integrable/ 直接 获 曼 可 积 ”定义 27.9.2 
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direct sum/ 直 各 定 灶 1.7 

Dirichlet distribution 7/ 犹 利 克 汇 分 布 定 六 6.6.8 
discounted factor/ 折 扣 因 子 ”定义 35.4.6 

discounted model/ 析 扣 模 型 定 兴 35.6.1 

discounted reward vectory 折 扣 报 酬 问 量 定 交 35.6.2 
discounted optimal policy/ 折扣 最 优 策略 ” 定 区 35,6.3 
discrete convolution/ 离散 卷 积 公式 ”定理 3.4.1 

discrete type of life distribution/ 离 散 型 寿命 分 布 33.3.6 
discrete uniform distribution/ 离 散 均 名 分 布 定 光 6. 3.5 
discriminant analysis/ 判 别 分 析 18. 5. 1 

discriminant of the model /模型 识别 ”23.8.2 

discriminant rule/ 判别 法 则 ”定义 18. 5.1 

disjoint algorithmy/ 不 交 化 算法 俩 33.6.5 
dissimilarity/ 相 异性 19. 3. 1; 式 (19. 18) 

dissipative/ 损 耗 。” 定 理 24. 3. 12 

distance discrimination rule/ 距 离 判 别 法 则 ”定义 19. 5. 15 
distribution function/ 分 布 函 数 ” 定 艾 3.2.1,3.2.5 
distribution of exponential type/ 指 数 型 分 布 定义 14.3.6 
distribution of population/ 总 人 体 分 布 定 交 11.1.2 
domain of attraction/ 吸 引 场 ” 定 浆 14.3.9 

dominated convergence theoremy 控 制 收 敏 定理 定理 8.2.3 
Docb martingale brocessy 杜 布 蒜 过 程 例 21. 2.7 
Doob-Meyer decomposition/ 杜 布 - 梅 耶 分 解 ” 定 理 29. 4.7 
Doob stopping theoretmy 杜 布 停 时 定理 定理 29. 2.4 
Doob theoremy 杜 布 定 理 定理 21. 3.56 


E 


Ehrenfest model/ 爱 伦 非 斯 特 模 型 ” 权 型 25. 6. 1 
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eletnentary trasformation theorem for diffusion/ 扩 散 基 本 变换 定 
理 定理 25, 3.3 

empirical Bayes method/ 公 验 内 了 叶 斯 方法 方法 11.5.14 

empirical distribution function/ 既 验 分 布 晴 数 ” ”定义 14.2.5 

entrance boundary/ 流 入 边界 表 25. 1 

equilibrium measure /平衡 济 度 ” 定 尖 26.5.11 

equilibrium potential/ 平 衡 执 ”定义 25. 5.11 

equivalenty 等 价 定 半 1.1.5 

ergodic/ 调 历 23.3.3 

ergodic state/ 遍历 状态 24.1.8 

Erlang distribution/ 埃 尔 朗 分 布 32. 1.4 

estimationy 估 计 定 交 11.1.7 

evidence jevel/ 显 著 性 水 平 13.1.2 

excess lifey/ 利 余 寄 全 27.9.2 

exclusive/ 互 斥 ”定义 1.1.5 

exit boundary /流出 边界 表 25.1 

expectation total reward/ 期 望 总 报酬 ”35. 4.3 

cxpected average reward/ 平 均 期 望 报酬 定 巡 3S.4.7 

expected infinitesimal dijsplacementy 无穷 小 均值 定 允 25.2. 

exponential distribution/ 指 数 分 布 定 头 而 5.4; 式 (33.5) 

extensiony 扩 张 定 尖 7.1.10 

extinction probability/ 灭绝 概率 28. 1.3 

extrapoljation method/ 外 推 法 31.1.1 

extremum principle/ 极 值 原理 ” 定 光 26. 5.4 

extrem strength/ 极 值 强 度 定义 14.3.4 


F 


failure rate function/ 失效 率 函 数 式 (33.2) 
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family of consistent distribution functionsy 相 容 分 布 图 数 族 
定义 7.2.7 

family of finite dimensional distribution functions/ 有 限 维 分 布 族 
定义 21.1.10 

family of infinitely divisible distributionsy 无 穷 可 分 分 布 族 
定义 10. 2.2 

family of self-decomposible distributions/ 自 分 解 分 布 族 
定 作 10. 2.12 

family of stable distributions/ 稳 定 分 布 族 ” 定 尖 10. 2. 16 

Fatou lemma/ 法 图 3[ 理 ”定理 8.2.2 

fault tree analysis (FTA)/ 故 障 树 分 析 33.7 

F distribution/F 分 布 定义 6.4.234 

feasible method/ 可 变法 方法 19. 3. 4 

Feller natural boundary/ 费 勒 自然 边界 表 25.1 

Feller process/ 费 勒 过 程 定义 21.6.7 

Fejler semi-group/ 费 勒 灶 群 ” 定 全 24.3.6 

Feller theorem/ 莫 勒 定 理 定理 9.1.7,10.1. 19 

Feller transition probability/ 闹 勒 转 称 概率 ”定义 21. 6.7 

field/ 域 定义 7.1.1 

filtered Poisson process/ 过 滤 泊 松 过 程 ”22. 5,4 

filter error/ 滤 波 误 差 式 (31.37),31.6.1 

人 tering/ 滤 披 31.1 

finite process/ 有 限 过 程 21.2.1 

finite-stage model/ 有 限时 让 模 型 ” 定 光 35.5.1 

finite source queue/ 有限 源 排 队 32. 2.3 

finite variance process/ 有 限 方差 过 程 ” 定 21.2.1 

first-come-first-served/ 先 到 完 服务 ”32.1.2 

Fisher discrimination function/ 费 希 尔 判 别 函 数 ” 定 革 18. 5. 18 
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Fisher scoring method/ 费 希 尔 得 分 法 ”方法 11.3.8 
Fokker-Planck equationy7 福 克 - 普 朗 远 方程 式 (25s. 14) 
freguencyy 频 率 1.2.1 

frequeney tunction/ 频 率 薄 数 定 兴 TI.1.11 

treguency response function/ 颇 率 响应 函数 定理 23. 6.3 
test/F 检 验 15,2.4 

Fubini theorem/ 富 比 尼 定理 ”定理 7.3.9 

fully seperable/ 完 全 可 分 定义 21.3. 2 

fundamental identity for Potential/ 势 的 基本 公式 定义 26.5.9 


G 


Galton-Watson Process/ 高 尔 顿 - 沃 李 过程 定 浆 28.1.1 
game/ 对 策 29.1.10 
Gamma distribution/T 分 布 定义 6.5.7, 式 (33.7) 
Gauss distribution/ 高 斯 分 布 定 必 656.4.1 
Gauss kernel7/ 高 斯 核武 (25. 9 
Gauss process/ 高 斯 过 程 定义 32.3.1 
generalized Poisson process/ 广 义 消 松 过 程 定 你 27. 656.1 
generating function of tail probability / 尾 概 率 母 函数 
定 5.2.5 
generating function equation of GW process 
/GW 这 程 的 母 函数 方程 让 (28. 2) 
geometric Brown motion/ 几 何 布朗 运动 定 光 26.43 
geometric distribution/ 妃 何 分 布 定 灶 不 .1.7 
geometric probability 几何 概率 1.4 
Glivenko theorem/ 格 里 文科 定理 定理 14.2. 6 
8ravity centre method /重心 法 ”方法 19. 3.7 
group average method/ 类 平均 法 上 方 法 19. 3.5 
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growth conditionsy 增 长 条 件 ”定义 30.3.8 
group sampling method/ 集 团 抽 样 法 ”方法 20. 1.7 


H 


harmonic function/ 调 和 函数 ” 定 必 26. 5.1 

Hartman-Wintner's law of iterated jogrithmy 哈 特 曼 - 文 特 纳 尔 重 
对 数 律 ”定理 9. 3.1 

Helmert contrast matrix/ 赫 米 特 对 比 阵 19.5 

Helly-Bray lemma/ 哈 利 -布雷 引 理 引 理 8.4.11 

histogram/ 直 方 图 图 14.1 

histogram density estimate/ 直方 图 密度 估计 14.5.1 

history/ 历 史 定 浆 35. 3.4 

hitting time/ 首 中 时 定 兴 21.6.10,26.3.1 

homogeneous Markov process[chain ]/ 齐 次 马尔 可 夫 过 程 [ 链 ] 
定义 24. 2. 11; 定 义 24.1.5 

homogeneous Poisson process/ 许 次 泊 松 过 程 ”定义 22. 5.2 

homogeneous process with independent increment/ 齐 次 独立 增 量 
过 程 ”定义 27.1.2 

homogeneous Wicner process/ 主 次 维 钠 过 程 27.2.6 

hot redundance system/ 热 备 系 统 33.4.3 

Hotelling T? test/ 埠 特 林 工 检验 方法 18. 3. 12 

hypergeometric distribution/ 超 几何 分 布 定 光 在 3.7 


I 


identity of momentsy 和 所 的 恒等式 30.3.7 
improved K-means method/ 改 进 的 KK 均值 法 方法 19. 3. 14 
impulse response/ 脉 溃 响 应 ”定理 23,6.4 
independent events/ 独 立 事件 ” 定 光 2.2.1 
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independent increment process/ 独立 增 量 过 程 231.22537， 
22.2.5, 定 尺 27.1.1 
independent processy 独立 过 程 定义 21.1.9 
independent random variables /独立 随机 计量 定 兴 3.3.5 
indicator funetion /7 示 性 盟 数 定 尽 了 .2.6 
infinitesimal meany7 无 穷 小 均值 定 光 25.2.1 
infinitesimal operator/ 无 窍 小 算 子 ”定义 21.6.3 
infinitesimal variance/ 无 穷 小 方差 定义 25.2.1 
initial distribution 初始 分 布 和 性质 24. .4 
input process/ 输 入 过 程 32.1.2 
integrable incerement process/ 可 积 增 量 过 程 ” 定 艾 29.6.1 
integral convolution/ 积 分 卷 积 公式 ”定理 3.4.3 
integrated Brown motion/ 积 分 布朗 运动 ” 定 兴 26.4.6 
intensity function/ 强 度 范 数 定义 14.3.1. 
intersection/ 克 定 凡 1.1.6 
interval estimation/ 区 间 居 计 定 关 11.1.7; 定 12.1.1 
invariance of mormal proeessy 正 态 过 程 的 不 变性 性 质 22.4,4 
invertible diffusion brocess/7 可 道 扩 散 过 程 2S.8 
invertible moving average modely 可 道 请 动 平 均 模 型 
定义 23.7.2 
invertibility condition/ 可 道 性 条 人 忻 ” 定 区 23.7.2 
irreducible cjosed set/ 不 可 分 闭 集 定 艾 24.1,11 
irreducible Markov chain/ 不 可 分 蕊 尔 可 夫 链 ”定义 24.1.11 
irregular point/ 非 规 网 点 ” 定 光 26. 3.3 
isodata meihod/ 等 数据 法 19.3.25 
Ho decompositiony 伊 蕨 分 解 ” 定 理 27. 3.3 
Jto integral for a Brown motion/ 对 布朗 运动 的 伊 芯 积分 
定妆 30.2.3 
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Ito stochastic transformation formulay7 伊 萨 随机 变换 公式 
30. 3. 3 


J 


jackknife/ 刀 切 法 方法 18. 5$. 23 

Jelinski-Moranda software reliability model/ 杰 林 斯 基 - 莫 兰 达 
软件 可 靠 性 模型 ”模型 33. 11.3 

jump point/ 跳 旺 点 ”定义 21.4.4 


K 


Kalman filter/ 卡 尔 尼 滤 波 31.6.1 

kernal density estimate/ 核 密度 估计 定义 14. 5.2 

K-means method/K 均值 法 ”方法 19. 3. 13 

Kolmogorov backward eduationy 科 和 尔 莫 威 罗 去 向 后 方程 
定理 25. 3.2 

Kolmogorov consistency theoretmy 科 和 尔 葛 龙 罗 夫 相 容 性 定理 
定理 7. 2. 17 

Kolmogorov forward equationy7 科 和 尔 莫 苹 轴 夫 向 前 方程 
定理 25. 3.1 

Kolmogorov existence theorem/ 科 尔 莫 龙 罗 去 存在 性 定理 
定理 21. 1. 11 

Kolmogorov's law of iterated logrithm/ 科 和 尔 蔓 龙 罗 夫 重 对 数 律 
定理 .3.3 

Kolmogorov's strong law of large rurmber/ 科 和 尔 黄龙 罗 夫 强大 数 
律 定理 9.1.4 

Kolmogorov test/ 科 尔 莫 龙 男 夫 检 验 ”定理 13. 5.5 

Kolmogorov three series theorem/ 科 尔 莫 龙 软 夫 二 级 数 定理 
定理 8. 3. 16 
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长 olmogorov 0 一 1 lawy/ 科 和 尔 莫 戈 风 夫 0 一 1 律 定理 8 3.5 
区 -out-of-nCR》y system/K-out-ot-n{F) 系 统 33.5.2 
kurtosis / 峰 度 定 半 4.3.5 


L 


lag windowy/ 谱 窗 因 子 ” 式 (233. 53) 
Laplace distribution/ 拉 普 拉 斯 分 布 定义 6.5.22 
largest root statistic/ 最 大 根 统计 量 ”定义 18. 1. 39 
Last-eotne-first-served /后 到 先 服务 32.1.2 
jast exit time/guitting timey 末 离 时 定 头 26. 3.9 | 
law of iterated logritbm/ 重 对 数 律 9.3, 定 理 26.2.5 
law of large number/ 大 数 定律 9 1 
least squares estitmmnatey/ 最 小 二 乘 估计 23.8.4 
Lebesgue theoretmy/ 蔓 贝 格 定理 定理 7.4.4 
left (right) randomly continuous/ 左 ( 右 ) 随 机 连续 定 交 21.3.7 
Tehman-Scheffe theorem/ 药 赫 曼 - 谢 非 定理 ”定理 11. 2.9 
Lévy process/ 列 维 过 程 ”定义 27.1.4, 定 理 27.2.2, 定 理 27.2.4 
Lévy-Khintchine theorem/ 列 维 - 辛 软 定理 定理 10.2.6 
Liapnov theorem/ 李 雅 普 诺 夫 定 理 定理 10.1.10 
likelihood funetiony/ 似 然 画 数 定 必 11.2.15 
likelihood ratio test/ 似 然 比 检验 定义 13.4.1 
Lindeberg condition7 林 德 山 格 条 件 定 10. 1. 14 
linear model7 线 性 模型 ”23,.7.1 
linear potention/ 线 性 位 势 ”26.56 
linear programming/ 线 性 规划 35.6.6 
Jinear system/ 线 性 系统 ”定义 23.6.1 
linear trendy 线 人 性 赵 儿 31.4.3 
locally integrable/ 局 部 可 积 定理 26. 5. 3 
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local martingaley 局 部 康 定 汐 290.6.2 

location parameter/ 位 置 参 数 定 尺 4. 1. 16 

Loéve eriterion for mean square convergence/ 均 方 收 敛 的 党 也 甫 
准则 ”定理 22. 2. 14 

longest distance method/ 最 长 距离 法 方法 19. 3.2 

logistic distribution/logistic 分 布 定义 6.5.30 

logistic equation/logistic 方程 30.5.1 

log-likelihood equation/ 对 数 似 然 方程 ”定义 11. 3.2 

log-normal distributiony 对 数 正 态 分 布 定义 6.4.28, 式 (33. 6) 

logarithm distribution/ 对 数 分 布 定义 6.3.9 

logarithm_ potention/ 对 数位 势 ”26.6 

loss systemy 损 失 制 3t.1.2 

lower semi-continuousy 下 半 和 连续 性 质 26.3.5 


M 


Mahalanobis distance/ 马 哈 拉 诺 比 斯 距离 ”定义 18. 5. 11 
marginal distribution/ 边 缘分 布 定义 3.2.8 
Markov branching process/ 蕊 尔 可 夫 分 支 过 程 定义 28. 6.1 
Markov chain/ 蕊 尔 可 夫 链 ”定义 21.2.3 
Markov decision process/ 马尔 可 夫 决 策 过 程 35.1 
Markov decision Prograinming/ 马 尔 可 去 决策 规划 35.1 
Markoy jump Process/ 跳 跃 马 尔 可 去 过 程 24. 3.5 
Markov maintainable systemy 切 尔 可 夫 有 本 收复 系统 33.8.3 
Markov process/ 马尔 可 夫 过 释 定 区 24.2.1 
Markov property/ 蕊 水 可 夫 性 ” 定 头 24.11 
Markov timey 马 尔 可 去 时 间 定 闪 24.3.4 
martingaje/ 团 ”定义 21.2.6, 定 你 29.1.1 
martingale characterization/ 鞭 特性 25.8 
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martingale of finite variation7 有 了 恨 变 差 鞭 定 兴 29.6.1 
martingale of integrable variation/ 可 积 变 差 半 ”定义 29.6.1 
mathematical expectation7 数 学 期 鹿 定 尽 4.1.2 
maximum inequality for submartingaley 下 蒜 极 值 不 等 式 

公式 29. 2.3 
maximum Jikelihood discriminationy 极 大 似 然 判别 式 (18. 57) 
maximum jikelihood sstimatey 极 大 似 然 佑 计 定 光 11.3.1 
maximum rank processy/ 最 大 秩 过 程 ” 定 光 23. 2.3 
mean/ 均 值 定 光 二 12 

一 function/ 一 极 数 定 民 21.1.T2 
mean absolute error/ 平均 钨 对 误 莽 定 迷 11.2.5 
mean square continuous/ 均 方 连续 定 兴 22.2.18 
mean square continuity ctiteriony 沟 方 连续 准则 定理 22, 2. 19 
mean square convergence/ 均 方 收 伍 ”定义 22.2.10 
mean square differentiability criterion/ 均 方 可 微 准则 

定理 22. 2. 21 
mean square differentiable/ 均 方 可 微 ” 定 你 22. 2. 20 
mean Square error/ 均 方 误差 。 定 区 11.2.4 
mean square intepgrability criterion/ 均 方 可 各 准则 ”定理 22. 2. 24 
mean square integrable/ 均 方 可 积 ” 定 浆 22. 3, 23 
mean square optimum prediction/ 均 方 最 优 预 报 定 光 31.1.1 
measurable function/ 可 测 卫 数 ”定义 7.2.4 
measurable process/ 可 测 过 程 ” 定 光 21. 5.1 
measurable set7 可 测 集 定 光 7.1.5 
measurabje space/ 可 测 空 间 定 浆 了 .1.5 
measurable transtormation/ 可 测 变 换 定 兴 7.2.3 
measurey 测 度 定 灶 T1166 

一 space 一 空间 定义 7.1.6 
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median/ 中 位 数 ” 定 六 4.1.18 

median methedy 中 间距 离 法 ”方法 19. 3. 13 

M-estimate/M 估计 定 兴 14. .6.5 

method of least squares/ 最 小 二 乘法 式 (15. 2) 

method of momentsy 害 估计 法 ” 定 光 11.3.2,23,8.3 

minimal process/ 最 小 过 程 ”定理 24. 2. 10 

minimal Q-process/ 最 小 Q 过 程 ” ”定理 24. 2. 18 

minimal repair policyy 小 修 策 略 。 33.9.3 

minimax discrimination/minimax 判别 定 光 18.5.6 

minimum information criterion/ 最 小 信息 准 册 ”23.8.5 

minimum loss discriminationy 最 小 损失 判别 ”18.5.5 

minimum variance Unbiased estimate/ 最 小 方差 无 偏 估计 
定义 11.2.6 

mixed auto-regressive-moving average model/ 沿 动 平均 混合 模型 
定义 23.7.3 

mode/ 众 数 ”定义 4.1.20 

modification/ 修 正定 光 21.3.5 

motmenty 和 所 定 头 4.3.1 

moment about origin/ 原 点 矩 ”定义 4.3.1 

moment about centre/ 中心 人 ” 定 光 4.34.1 

absolute momenty 绝 对 机 定 光 43.1 

moment generating function7y 瑜 母 函 数 定义 5. 2.8 

monotone coherent system/ 单 调 关 联系 统 ” 定 光 33.5,1 

monotone convergence theoremy/ 单 调 收 黎 定理 定理 $8.2.1 

Mente-Carlo method7/ 蒙特 卡 罗 法 34.5 

multinomial distribution/ 多 项 分 布 定 半 .6.4 

multiple comparison of means/ 均 慎 的 多 重 比 较 16.4 

multiple correlation coefficient/ 复 相关 系数 ”定义 18. 4. 11 
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mujtiple linear regression/ 多 重 线性 回归 15.3 

multiple target analysis/ 多 指标 分 析 17.2 

multiplicative seasonal model/ 乘 积 性 季节 模型 式 (23, 66) 
mutation effects/ 变 种 效果 25.6 


N 


nearest neighbor density estimate /最 近邻 密度 估计 定 光 14. 5.4 

negative binomial distribution/ 负 并 项 分 布 定 尖 6.1.11 

negtively jump/ 负 跳 牙 ”定理 27.4.3 

new information series /新 息 序 列 定 尖 31.3.1 

new infortmmation theorem/ 新 息 定理 ”定理 31. 3.2 

Newton potential/ 牛 师 势 ”定义 26. 5.7 

Newton's binomial formulay 牛 顿 二 项 公式 定 艾 61 4 

Neyman-Pearson lemma/ 奈 曙 - 皮 人 尔 森 引 理 引 理 13. 3.4 

nonnegative definite/ 非 负 定 性 ”性 质 23. 1.3 

nonparametric estimation/ 非 参数 估计 定 尖 11.1.7 

nonparametric statistics/ 韭 参数 统计 14.1 

nonstationary time series/ 非 平稳 时 间 序 列 23. 10 

normal and Markovian process/ 正 态 蕊 尔 可 夫 过 程 ”定理 22.4.5 

normal distributiony 正 态 分 布 定义 6.4.1 

normal equation/ 正 规 方程 式 (15. 18) 

normal processy 正 态 过 程 定 光 22.3.1 

normal white noise/ 正 态 白 噪声 定义 22.4. 13 

n-step transition probability (matrices )/n 步 转 移 概 率 《 和 矩阵 ) 
24. 1. 3 

nuli hyperthesis/ 原 假设 ( 零 假 设 ) 13.1 

null recurent/ 零 常 运 ” 定 闵 24.1.8 
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objective function/ 目 标 函 数 ” 杰 型 35. 2. 1 
one-unit maintainable system/ 单 部 件 可 收 系 统 33.8.2 
one-way analysis of variance/ 单 因子 方差 分 析 16.2 
optimal equation/ 最 优 方程 ”定理 35. 5.5 
optimal expected total fewardy/ 最 优 期 望 总 报酬 33. 5.5 
optimal policy/ 最 优 策 路 ”定义 35.5.2 
optimal expected discounted reward wectory 最 优 折 扣 期 望 报 酬 向 
量 定理 35. 6.2 
optimal linear prediction/ 最 优 线性 预报 定 头 31.1.1 
optimum linear recursive filtering/ 最 优 线性 递 推 滤波 31.6.1 
optional process/ 可 选 过 程 ”定义 21.5.5 
optional sampling thecoremy 任 意 抽 样 定理 29. 2.4 
optional stopping theoremy 任 意 停 止 定理 29. 2.4 
order statistic/ 顺 序 统 计量 定义 3.4.7,14.2.1 
Ornstein-UJnlenbeck process/ 奥 恩 斯 坦 - 乌 丛 风 克 过 程 
25. 3. 4(3) 
orthogonal qdesigny 正 变 设 计 17.1.1 
orthogonal factors model/ 正 交 因 子 模型 19. 2.1 
orthogonal increment process/ 正 交 增 量 过 程 定 光 22.3.6 
orthogonal invariance/ 正 交 不 变性 ”性质 26. 2. 1 
orthogonal table/ 正 交 表 17.1.1 


P 


parametric estimationy 参 数 佑 计 定 闵 11.1.7 

Pareto distribution/ 帕 雷 托 分 布 ” 定 当 于 5.28 

partial autocorrelation functiony 偏 自 相 关 郴 数 式 (23.31) 
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Partial correlation coeificient/y 偏 相关 系数 定义 18.4.13 
partial estimatey 部 分 估计 方法 20. 2.3 
Pascal distributiony 肪 斯 卡 分 布 定 巡 在 1.9 
path7 路 径 定义 21. 1.7 
path vector/ 跑 和 笃 身 量 ” 定 义 33,6. 
periodic trend/ 周 期 趋 热 31.43 
periodogram/ 周 期 图 。 定义 23. 9.4 
Physe characteristic/y 租 位 特性 定理 23. 6.3 
physe space/ 相 空间 ” 定 凡 21.1.6 

一 type 相位 型 32. 1.4 
Point estimation/ 点 估计 定义 11.1.7, 定 义 11.2.1 
Poisson approximation/ 消 松 遍 近 式 (6.2) 
Poisson distribution/ 泊 松 分 布 定 沁 6.2.1 
Poisson limit theoremy 泊 松 极限 定理 ”定理 10. 1.6 
Poisson process/ 泊 松 过 程 23, 5. 2,27. 6.4 
polar set/ 极 集 26. 3. 10(2) 
Policy improvement/ 策 上 略 改 进 ”35. 6. 4 
population/ 总 体 定义 11.1.1 
positive reqular G-W process/ 正 规则 G-W 过 程 定 双 28.4.2 
postrior distributiony 后 验 分 布 定义 11.5.2 
Postrior fiskE7 后 验 风 险 定 交 11. 5.4 
Potential /位 势 定义 29.4.1 
Power functiony 功 效 郧 数 定 尽 13.3.2 
predictable Processy 可 料 过 程 定义 21.5.5 
prediction/ 预 报 31.1.1 
Pretest method/ 预 查 法 “方法 20.3.5 
Principal componenty 主 成 份 ” 定 多 18. 6.1 
prior distribution/ 先 验 分 布 定 光 11. 5.1 
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probabilityy 概率 定 父 1.2.1 

probability density function/ 构 率 窄 度 现 数 ”定义 3.1.6 
probability distribution/ 概 率 分 布 定 尖 1.2.8,7.2.14 
probability generating function/ 概 率 长 明 数 .2.1, 定 捍 28. 1.5 
probability measurey 概 率 测 度 定 关 7.1.7 

probability space/ 概 率 空间 ”定义 7.1.7 

process adapted to (1)/(3) 适 应 过 程 ”定义 21.2.6 
process of finite variation/ 有 了 根 变 差 这 程 定义 29.6.1 
product law/ 屁 法 律 ” 式 (2.2) 

product space/ 其 积 空间 定 兴 7.1.13,7.1.14 
progressive process/ 循 序 过 程 ” 定 涉 21. 5.5 

pseudo level method/ 氛 术 平 法 . 表 17.9 

psendo-random number/ 伪 随机 数 定 光 34, 2.2 

pure birth process/ 纯 生 过 程 323.6 

purely discontinuous martingale/ 纯 断 鞭 式 (29.5) 


Q 


Q-process/Q 过程 24.2.18 
quantile/ 分 位 数 ”定义 4.1.22 

quantile difference/ 分 位 数 差 ” 定 尖 4. 2. 10 
queue discipline/ 排 队 规 则 32. 1.2 

queue length/ 队 长 ( 队 的 长 度 ) 32.1 
queueing process/ 排 队 过 程 32.1.1 
queueing system/ 排 队 系 统 32.1.1 


R 
Radon-Nikodym theorem/ 拉 东 - 尼 可 丁 定理 ”定理 7. 4. 5 


random continuous/ 随 机 这 续 的 定 尖 21.3.7 
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random equiyalenty 随 机 等 价 定义 21.3.5 

random eventy 随 机 溃 件 1.1.1 

random experiment/ 和 随机 试验 1.1.1 

randonm number/ 随 机 数 ” ”34.2.1 

random sampling/ 随 机 抽样 ”定义 11.1.4'120.2.1 
random seduencey 随 本 序列 21,2.1 

random variable/ 随 机 变量 定 闵 3.1.1,7,2.5 

random vector/ 随 机 向 量 定 交 3. 1. 10,7,2.5 

random walk/ 随 机 游 动 ” 例 21.1.1 

rank statistics/ 秩 统计 量 14.4.1 

ratio estimation method/ 比 估计 法 20. 2.3 

Rayleigh distribution/ 瑞 利 分 布 定义 6. 5. 18 
realization/ 现实 定义 21.1.7 

recurrent/ 常 运 ”定义 24. 1.8, 定 义 26. 3.9 

reference family /参考 族 ”定义 21. 2. 6, 定 理 26. 2.9 
regression analysis/ 回 的 分 析 11.1.9 

regression function/ 回 归 明 数 ” ”定义 4. 4.3 
regular process/ 正 则 过 程 ,规则 过 程 ” 定 类 25. 5. 2,31.5 
reliability funetiony 可 人 靠 度 画 数 式 (33. 1) 

reliability of network systerny 网 络 系统 的 可 昔 度 33.6 
reJiability theoryy 可 靠 性 理论 33.1 

renewal equationy 更 新 方程 ”定义 27. 8.2 

renewal function/ 更 新 函数 ” 定 尽 27.7.5 

Ienewal process/ 更 新 过 程 定义 27. 7.1 

replacement policy/ 更 换 策 略 33.9 

reward process/ 报 柄 过程” 定 多 35, 4.2 

ridge regression/ 岭 回归 ”15.5 

Riesz decomposition/ 歼 斯 分 解 ” 定 义 29. 4.2 
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righi (left)-continuous processy 右 ( 左 ) 连 续 过 程 ” 定 区 21.3.3 
risk 7 风险 定 巡 在 .和 .5 
robust statisticsy 稳 健 统 计 14.6 


S 


sample/ 样 本 定义 11. 1.3 
sample function/ 样 本 函数 定义 21. 1.7 
satnple meany 样 本 均值 定式 11.2.3 
sample mediany 样 本 中 位 数 定 共 14. 2.7 
sample quantile/ 样 本 分 位 数 ” 定 头 14. 2.7 
sample space/ 样 本 空间 1.1.1 
sample variance/ 样 本 方差 定 兴 11.2. 和 
sampling/ 抽 祥 ” 倒 1. 3.3 
sampling theorem/ 抽 榜 定 理 ”定理 23. 3.8 
sampling with replacement/ 有 旅 问 抽样 ” 例 1. 3. 3, 定 党 11.1.5 
sampling without replacement/ 无 放 回 抽样 
例 1. 3.5, 定 义 11. 1.5 
seale function/ 尺 度 函 数 定 巡 25.5.3 
scale invariance/ 尺 弄 不 变性 26.2.1 
scale measure/ 尺度 测度 定 兴 25.5.,3 
scale parameter/ 刻 度 参 数 ” 定 闵 4.2.6 
seasonal model /季节 模型 ”第 式 (23. 63) 
second order process/ 二 阶 算 过 程 21.2.1; 定 你 22.1.1 
second order space/ 二 阶 第 空间 ”定义 22. 2.5 
semi-compacty 半 紧 ”定理 21. 6. 11 
semigroup of constraction operators /压缩 算 子 半 群 
定义 21. 6. 2, 节 24. 3.3 
semi-invariant/ 半 不 变量 ” 定 光 5.1.7 
.814 。 


separabley 可 分 定 光 21.3.1 

separable miodificationy 条 分 修正 ”定理 21. 3.6 

separable set/ 可 分 集 定 尽 21.3.1 

separate ratio estimation methoeqy 分 屋 比 佑 值 法 20. 3.3 

separate simple estimation methody 分 层 简 单 佑 值 法 2.3.1 

sequence of likelihood ratios/ 伺 然 比 序列 例 29.7.4 

serier System and parallel system/ 上 串联 和 并 联系 统 33.4.1 

service according to priority /优先 服务 规则 ”32.1.2 

service mechanism/ 服 务 机 构 32.1.2 

service in random border 随机 指定 ”32.1.2 

shortest distance methody 最 短 蝶 离 法 “方法 19,3 1 

similarity/ 相 伺 性 ”39.3.1 

simple functiony 简单 函数 ”定义 7. 2,7,30. 2.2 

simple satmmpley 简 单 样本 定 丸 11.1.6 

singular/ 奇 异 的 ”定义 28. 4. 1 

singular branch processy 奇 异 分 支 过 程 定义 28. 4. 1 

singular diffusion process/ 奇 异 扩散 过 程 ” 注 2$.2.1 

skewness/ 偏 度 ” 定 你 4.3.4 

software availability /软件 可 用 度 ”定义 33. 11. 

software reliability/ 软件 可 靠 度 定 光 33.11.1 

spacial homegeneousy 空 间 齐 次 ”性质 26. 2. 7 

sbany7 跨 度 定 兴 2 闻 .9.1 

Spearman rank correlation coefficient /斯 皮尔 曼 秩 相关 系数 
定 兴 14.4.3 

spectral/ 诺 ”23.2 

spectral analysis/ 谱 分 析 23.9 

spectral decomposition theoremy 谱 分 解 定 理 ”定理 23. 2, 2 

spectral density/ 谱 密度 ”定义 23. 2.3 
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speetral function/ 谱 函数 ”定理 23. 2.3 
spectral measurc/ 谱 测度 ”定理 23.2.1 
spectral Processy 谱 过 程 定 尽 23.2.9 
spectral representation theorem/ 谱 表现 定理 定理 23. 2.8 
speetral window function/ 谱 窗 肖 数 式 (23. 54) 
square integrable martingale/ 平 方 可 积 著 ”定义 29. 5.1 
stable /稳定 的 ”定义 29. 5.8 
standard deviation/ 标 淮 差 定义 4.2.1,21.1.12 
standard normal distribution/ 标 准 正 态 分 布 定义 6. 4.5 
state/ 状 态 定义 21.1.56 
state space/ 状 态 空 间 定义 21.1.6 
state-transition-rate diplomay 状态 转 移 率 图 图 32.1 
stationary/ 平 稳 的 定 光 22.3.3 
stationary autoregressive model/ 平 稳 自 回归 模型 式 (23, 23) 
stationary condition/ 平 稳 性 条 件 ” 定 汉 23.7.1 
stationary correlative/ 平 稳 相 关 ” 定 必 23. 6.6 
stationary distribution/ 平 稳 分 布 定 头 24. 1. 15 
stationary normal process/ 平 稳 正 态 过 程 定 久 23.4.1 
stationary process/ 平 稳 过 程 ” 定 义 22. 3.3 
stationary time series/ 平 稳 时 间 序 询 定妆 23. 1.2 
statistical inference/ 统 计 推 断 让,1.2 
statisticy 统 计量 定 艾 11.1.10 
step function with probability 1/ 以 概率 1 为 阶梯 函数 
定义 21. 4.7 

stepwise regression/ 逐 步 回 归 15.4 
Stieltjes integral/ 斯 蒂 尔 切 斯 积分 4.1.1 
Stirling formula/ 斯 特 林 公式 式 (6.4) 
stochastic differential/ 随 机 微分 30.3.1 
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stochastic field/ 随 机 杨 ” 定 丸 21. 1.7 

stochastic process/ 随 机 过 程 21.1.1 , 定 广 21. 1.; 定 六 21. 1.7 
stochastic service system/ 随 机 服务 系统 32. 1.1 
stochastic simulationy 随 机 模拟 34.1 

stochastic vector Process/ 随 机 向 量 过 程 25.7 

stopping time/ 停 时 定义 24. 3.4 

strictly stational process/ 强 平稳 过 程 23.1 

strong consistent estimate/ 强 相合 估计 定 闵 11. 4.2 
strong law of large number/ 强 大 数 律 ”定理 9. 1. 2,9， 1.4 
strong Markov process/ 强 马尔 可 尖 过 程 定 革 24. 3.5 
strong tneasurable process/ 强 可 测 过 程 定 党 21. 5.3 
subcritical G-W process/ 深 临界 GW 计 程 ”定义 28. 1.2 
submartingale/ 下 载 ” 定 人 义 29. 1.1 

sub-transition function/ 深 转移 函数 ”定义 24. 2. 4 
sulficient statistic/ 元 分 统计 量 ” 定 人 光 11,2.7 
supermatingale/ 上 和 蒜 ” 定 光 29. 1.1 

supplement vatiabie method/ 补 充 变 量 法 33.8.4 
support/ 支 集 例 26. 5, 10 

synihesis balance method /综合 平衡 法 17. 2.1 
synthesis evaluating method/ 综 全 评分 法 17. 2.2 
system of backward equations/ 向 后 方程 组 ” 式 (24. 9) 
system of forward equations/ 向 前 方程 组 式 (24. 10) 
systematic sampling/ 系统 抽样 ”方法 20. 1.8 


T 


t distribution/t 分 布 定 风 6. 4 18 
test of hypothesis/ 假 设 袜 验 ”定义 11. 1.8,13. 1 
test of homogeneity/ 齐 次 性 检验 趟 (144 15) 
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test of randomness/ 随 机 性 检验 14.4.2 

threshold crossing/ 阅 交 22. 4.4 

tightness /紧密 性 定义 8. 4. 23 

time invariant system/ 时 间 不 变 系 统 ” ”定义 23.6.1 
time seriesy 时 间 序 列 21. 2.1 

Toeplitz matrix/ 特 普 利 获 和 矩阵 式 (23. 31) 

tolerance interval/ 容 如 区 间 定义 14. 2,11 

tolerance limit/ 容 忍 限 ” 定 光 14. 2. 11 
trajectoryy 轨 道 定 光 21.1.7 

transition function/ 转 物 函 数 ” 定 兴 24. 2.2 

transition semi-group/ 转移 半 群 24. 3.4 

trimmed meany7y 切 许 均 值 定 双 14.6.1 

trimmed variance/ 均 尾 方 差 定 光 14. 6.2 

truncated frequency/ 截 止 频率 式 (23. 12) 

truncated normal distribution/ 截 尾 正 态 分 布 33,3.6 
T distribution/T! 分 布 “推论 18. 1. 30 

T? statistices/T? 统 计 基 ”推论 18. 1. 30 

two step samling method7/ 二 阶 抽 样 法 20.4 
two-way analysis of variance/ 双 因素 方差 分 析 16.3 


U 


unbiased estimate/ 无 篇 估计 定义 11. 2.2 
unbiased testy 无 丛 检 验 定 愉 13.3.7 
uniform distributiony 拘 名 分 布 (一 致 分 布 ) 定 尺 不 S.1 
uniformiy most powerful testy/ 一 致 最 优 检验 定 关 13. 3.3 
union/ 并 定义 1. 1.6 
uniqueness criterion for Q-process/Q 过 程 的 唯一 性 准则 
24. 2. 18 
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uperossing ineguality/ 上 穿 不 等 式 ” ”公式 29. 2. 3(4) 
Vv 


variance/ 方 其 定 灶 4. 2.1 

variance function/ 方 着 函数 ”定义 21. 1. 12 
variance matrix/ 方 差 条 阵 定 光 4.5.3 
variation/ 蛮 差 定 六 29.6.1 


WwW 


waiting system/ 等 待 制 。”32. 1.2 
waiting time/ 等待 时 间 32. 1.3 
Wald’'s fundamental identity/ 沃 尔 德 基本 公式 公式 29.7.3 
Ward's methody/ 沃 德 法 “方法 19.3.8 
weak compactness/ 弦 紧 性 定义 8.4. 19 
weak convergence/ 输 收 钱 ”定义 B.4.1 
weak law of large numbery 纶 大 数 律 ”定理 9. 1.5 
weakly stationary Processy/ 验 平稳 过 程 23.1 
Weibull distribution/ 韦 布尔 分 布 定义 6.5.15, 式 (33. 6) 
Weibul] process/ 韦 布尔 过 程 ”定义 33. 3.4 
weight function estimatey 权 责 数 佑 计 例 14. 5.8 
white noise/ 白 只 声 。 22. 4. 13, 例 23. 1.6 
white brocessy 白 噪声 过 程 ”30. 5. 1 
Wiener process/ 维 纳 过 程 ”定义 22.4. 13, 定 兴 27.2.6 
Wiener-Levy process/ 维 纳 - 列 维 过程 25.6 
Wilcoxon (rank sum》statistic/ 威 尔 柯 克 森 ( 秩 和 ) 统 计量 
定 光 14. 4.7 
Wishart distribution/ 威 沙特 分 布 18.1.14 
Wright-Fisher tmodel/ 融 特 - 费 希 尔 模型 ”25.6 
“全 19。 


Y 


Yule-Walker equation/ 耶 鲁 - 沃 克 方 程 式 (23. 31) 
. 


zero crossing/ 竺 交 22.4.4 
zero-or-one law/ 零 一 律 ”性 质 26. 3.2 


4 distrbutiony4 分 布 18.1.34 
4 statistic/4 统计 量 定义 18. 1. 34 
xk-continuous/ yx 连续 定 父 7.4.3 
Arsingular/r 奇异 定 光 7.4.3 
co-algebrayo 代数 定 兴 7.1.1 
o-field/o 域 ” 定 妇 7.11 
og-finite measure/g 有 限 测 度 定义 7,1. 11 
闪 distribution/X 分 布 “定义 6.4. 1 

x statistic/X 统 计量 定义 13. 5.1 
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Cramér,H. 克拉 墨 
Daniel ,P,J， 和 疗 尼 尔 
Deracherie ,C. 戴 拉 谢 利 
Denkin,E. B. /AT pk E.R， 邓肯 
De Moivre 棣 莫 弗 
De Mergan,A. 德 座 根 
Dirac,P.A.M. 狐 拉 完 
Dirichlet.P.G.IL， 狂 利 克 雪 
Doob,J. 杜 布 
Douglas,J， 道格拉斯 
Ehrenfest,;,P.T. 爱 伦 非 斯 特 
Einstein ,和 A. 爱 因 斯 坦 
Erlang ,六 .K.， 埃 尔 了 并 
Essen 埃 森 
Fatou,P. 法 图 
Feller,W. 和 费 瘟 
FermisE. 费 米 
Fisher ,R.A. 费 希 尔 
Fokker 福 克 
Fourier ,J.B.J. 人 情 里 叶 
Frechet 砷 雷 砍 
Fubini 宣 比 尼 
Galton:FE. 高 尔 顿 
GausssC.F,， 高 
Glivenko/Tnnaeqrko 格 里 文科 
fiosset ,W.S. 哥 塞 特 
Green;G， 格林 
Hamming;R.W. 汉 明 
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Hanninag ” 哈 守 

Hardy,G, H、 哈代 

Hartman 附 特 曼 

Helly 哈 利 

Hermite,C， 埃 尔 米 特 

Hilbert,D， 项 尔 怕 特 

Hotelling;H. 里 特 林 

Howard,R. A. 堆 华 德 

Holder;O， 荷 尔 德 

It0,K. 伊藤 

Jelinski 杰 林 斯 基 

Kakutanis;S. 前 和 谷 静 夫 

区 atman;, 有 RE， 卡尔 曼 

Khinechine, A.J. /Xan A. HH. 辛 软 
Kolmogorov ,A. N. /KondoropoBrA. H. 科 尔 莫 浊 罗 夫 
Krein ML 三 Kpein 克 莱 因 

Kunita;H. 库 尼 塔 

Langevin*P. 贿 之 万 

Laplace'P. S. 拉 普 拉 斯 

Lebesgue ,HL 勒 风格 

Lehman'E. L. 莱 赫 曼 

Lévy.P. 列 维 

Liapunov /umiyHon: A. M. 李 雅 普 诺 夫 
Lindeberg:Y. W. 林 德 内 格 
Lipschitz,R. 利 普 希 谈 

Loéve:;:M. 洛 也 去 

Mahalancbis 马 哈 拉 诺 比 斯 
Markov; A. A. /Mapkons A. 人 ， 切 尔 可 去 
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Meayer,P.A. 近 耶 
Messel 梅 塞 尔 
Minkowski 疝 可 去 斯 基 
Moranda 葛 兰 达 
Newten, IT ， 牛顿 
Neyman,]， 率 曼 
Nikodim 尼 可 丁 
Nyquist,H， 率 计 斯 特 
Ornstein ,TD， 奥 思 斯 坦 
Pareto ” 帕 里 图 
Parzen :E. 由 森 
Pascal 帕斯卡 
Pearson,E.S. 诺尔 森 
Pearson,KK. 皮尔 森 
Planck;M. 普 朗 克 
Poincare ” 席 加 莱 
Poisson,S, D， 泊 松 
Priestley 普 利 斯 特 利 
Radon ,J， 近东 
RaosC.R、 僻 
Rayleigh,L. 瑞 利 
RiccatisJ.F. 里 卡带 
RiemannyG.F.B，。 黎 曼 
Riesz,;,F， 里 斯 
Robin,G. 罗 宾 
Scheffé,H， 谢 菲 
Schwartz,L. 和 施 殉 兹 
ShannonyC,E. 香农 
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Shaply,L.S， 夏普 利 
Spearman,;C， 斯 皮尔 曼 
Stieltjes,T. J.。 斯 蒂 尔 切 斯 
Stirling,J。 斯 特 林 

Strook ;DD. 到 .， 斯 特 鲁 克 
Toeplitz” 特 普 利 获 
Tukey;].W. 图 山 
TUJntenbeck ,G.E， 乌 伦 贝克 
Varandhan,S.K.S， 瓦 兰 德 汗 
Wald,A， 沃 尔 德 

三 alker,R.J 沃克 

Ward 沃 德 

三 atanabe ,S$S， 渡 边 

到 atsonsG.S. 沃 森 
Weibull,W. 圳 布尔 
Weinberg :B. L. 狐 因 由 格 
Wiener,N. 维 纳 

Wilbanx 维尔 班 克 斯 
Wilcoxon,;F.。 威 尔 柯 克 森 
页 intner ;六 ， 文 特 纳 尔 
Wishart,J.。 威 沙特 
Wright,S， 束 特 

Yule 名 和 鲁 
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附 表 1” 标准 正 态 分 布 表 


日 1 2 3 4 国 6 由 9 
—3. 010. 0013|0, 90010|0. 0007|0. 0005|0, 00031o. oo002|6. 0002|0.000110. 0001|0. 0000 
一 2 8 0019|0. 0018|0. 001710. 0017|0. 016|0. 0016|0, 001510. 9015|0. 0014|0 0014 
一 全 8]0. 0026|0.0D02510, 0024|0, 0023|0. 0023|0. 0022|0, 0021|0. 0021|0. DD20 0, 0018 
—2.7|0. 0035|0. 0034|0. 0033|0, 003210. 0031|0. 90030|0, 0029|0. o028|o. p007 lo O028 
—2.6|0. 0047|0. 0045|0. 0044[0, 0043|0. 0041|0. 0040|0, 003910, 0038|0. 0037|0 0036 
—2. 80. 008210. 0060|0. 0059|0. 0057|0. 0058/0. 005410, 0052|0. 0051|0. oo0dalo D048 
2.40,. 0082|0. 0080|0. 0078|0, 0075|0. 0073|0. 0071|0, 06910. o088|6 O06 .0064 
2 3)0. 010710. 01040.0102|0. 0099|0. 009610.DD9410. 0091 |0. 0089|0, o08710. 0084 
—2.2|0.0139|0, 0136|0. 0132|0. 0129|0. 0126|0. 0122|0.0119|0. o116|0, 0113|0. 0110 
—2.10.0179|0.0174|0. 0170|0. 0166|0. 0162|0. 0158|0. 015410. 0150|0, 0146|0. 0143 
—2.0|0. 0228|0. 022210, 0217|0. 9212|0. 0207|0, 0202i0. 0197|0. 0192|0, 0188]0. 0183 


二 附 表 1 一 8 引 白 清华 大 学 应 月 
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附 表 2 泊 松 分 布 表 


, eA 
1— Ftr—1)= 之 
工 = 人 .2 4A 二 0D.3 A=D.4 下 二 0.5 站 一 站 .五 
心 1. O000000 IT 0000000 Ti QOOOINO 1, oo000000 | 1, 0000000 
1. 0O. 18t2692 0. 2591818 0. 3296800 0, 393469 0, 451188 
2 0. O175231 0., 0369363 0. O61 S5519 D. OOO204 0. 121301 
3 0, GOL1485 0. 0035995 0. 0079263 0. 014388 0. 023115 
4 0. O000568 0. 0002658 0. 0007763 D, 0901752 四 ,D358 


Nn 
| 


0. D0000023 0. O000158 | 0. O0000612 000172 0. D00394 


6 0. 0000001 | 0.0000008 | 0.0000040 0. 000014 D0. 000039 
7 0.0000002 0. O0001 0, O00003 
x 六 一 站 ,了 2 二 D0. 8 A 二 站. 和 及 一 工 . 硼 A 二 1.2 
总 | 1.0000000 | 1,0000000 | 1.0000000 | 1. 0000000 | 1.0000000 
1 0. 503415 0.550671 总 593430 0. 632121 0. B98806 
2 0. 155805 0.191208 0,. 227518 0- 264241 0.337373 
3 D. D34142 ,D47423 0. 062857 0. 080301 0. 120513 
0. 005753 0 009080 0. 013459 0. 018988 DD, 033769 
5 0, O00786 D. 001411 0. 002344 个- O03660 0. O07746 
站 站 .000090 0, 001B4 0. 000343 0. O000594 dD, OLSOO 
7 日 . 000009 D0. 000021 0 000043 0. 000083 0. O00251 
D. O00001 0, 9000002 9-000005 0. O00010 0, 000037 
9 0. 000001 0. 000005 
,ODOO1 
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续 表 


一 


一 
< A=1,4 A=1.6 A=1.8 
0 1.000000 | 1. 00000 | 1. 00000 
1 D753403 | 0: 798103 | 0, 834701 
加 日. A08167 | O. 475069 | 0. 537163 
3 D. 186502 上 O. 216642 | 0O. S60379 
4 必 O53725 | O. 078813 | 0. 108708 
与 0- 014253 | 0. 023682 | 0. 036407 
名 0 O0820] | 0. OBO40 | 0. 010378 
? 0. 000622 | 0. 001336 | 0. 002569 
吕 0. 000107 | 0. O00260 | 0. G00582 
9 DO. 0000I6 | 0. 000045 | 0,. QO0110 
10 0 000002 | 0. 00007 | 0 000018 
11 0. 000001 | 0, 000003 
x 42.5 | A 二 3. 从 4 一 3.5 =4.0 起 二 44. 5 =5, 人 0 
人 0 1. 000000 | 1.000000 | 1, 000000 | 1. 000000 | 1. 000000 | 1. 000000 
1 必 917915 | 0. 950213 | O. 969803 | 0. 981684 | 0. 988891 | 0. 993262 
2 0. F12703 | 0, BOOBS2 | 0. 864112 | 0. 908422 | 0. 938901 0. 959572 
3 总 456187 ] 0. S76810 | 0. 879153 | 0, 761897 | 0. 826422 | 0.875348 
4 0, 242424 | 0. 352768 | 0. 463367 | 0. S66530 | O. 657704 | 0.734974 
5 0.108822 | 0. 184737 | 0. 274535 | 0O. 371163 | 0. 467806 | 0. 559507 
6 0. 042021 | 0. 083918 | 0. 142386 | 0. 214870 | 0. 297070 | 0. 384039 
了 dO014187 | 0.033509 | 0. O68288 | 0. 110674 | 0. 168949 | 0, 237817 
8 个 004247 | 站 O11905 | 0. 026739 | 0.051134 | 0. 086586 | 0,133372 
9 DO. 001140 | 0. 003803 | O. 009874 | 0 021363 | 0. 040257 | 0.068094 
1 0. 000277 | 0. 001102 | 0. 003315 | 0 O08132 | 0. 0170983 | 0.031828 
11 0. O00062 | 0. 000292 | 0. O01019 | 0. OO2B40 | O. MONGB6Y D0, 013695 
12 UY O0013 | 0. 000071 | 0. 000289 | 0-. 000915 | 0. 002404 | 0,005453 
13 0. 000002 | 0. DO00616 | 避 000076 | 0. 000274 | 0. O00805 | 0.002019 
14 DO. 000003 | 0. 000019 | 0, O00076 | 0. 000252 | 0.000698 
15 D. O000F | 0. O00004 | O, O00020 | O, 00074 | OD. O00226 
1é 0. 00000] | 0. bobon005 | O, 000020 | 0d, O00069 
17 0 O0001 | 0. Doooo5 | 0. 000020 
18 D0. O0001 上 下 000005 
19 - D0. 000001 


附 表 3 :分布 表 


到 全 (一作 


2 Cn) 


1 1. i 12. 7062 3, 6574 
2 0. B155 2, 9200 4. 3027 6. 9646 9. 9248 
3 0 F649 2.3034 3. 1824 4, 5407 5. B409 
了 0, 7407 2,1318 2.7764 3. 7469 ,O41 
也 0, 7267 2, 01850 2, 5706 3. 3649 4. 0322 
6 0, 7176 1. 43908 1. 人 432 2.4469 3. 1427 3. 7074 
了 0, 了 1 1. 4149 二 ， 呈 9 和 2. 3646 2. 9980 3. 4995 
8 D. 7064 1. 3968 1. 8595 2, 3060 2. 8965 3.3554 
9 D0. 7027 1. 3830 1. 8331 2, 2622 2. 8214 3. 2498 
1 日 , BoB 1. 3722 1.8125 2. 2281 2. 7638 3.1693 
11 D. B974 1. 3634 1. 7959 2, 2010 2.7181 3, 1085 
12 0. B955 L352 1. 7823 2.1788 2. 810 3.0345 
13 0. 6938 1. 3502 1. 7709 2, 1604 2. 65083 3.0123 
i4 由 6924 1. 3450 1. 7613 2, 1448 2. 5245 2,9768 
0, 1 1 2.1315 2. 2. 
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亚 立 二 站, 25 0.10 D0, 05 0. O28 D, 01 0. 005 
16 0, 901 1.3368 | 1. ?459 2- 1199 2, 5835 2. 9208 
17 0. 6892 1. 3334 1, 7396 2. 1098 2. 5669 2, B982 
lB 0. 6884 1. 3304 TI. 7341 2. 1009 2.5524 2, 8784 
19 0. G876 1 3277 1. ?7281 2. 0930 2. 35395 2. B809 
2 0D. 870 1.3253 1. 7247 2,0860 2. 5280 了 是 生 53 
21 ,B64 1. 3282 1 ?207 2. 0796 2. 5177 2. 8314 
32 ,6858 1- 3212 1. 7 了 171 2. 0739 2. 5083 2, 8188 
23 D0. 6853 1.3195 1. 7139 2, 0687 2. 490 2. 8073 
24 .4 1. 3178 1. 7109 2.0639 2, 4922 2. 7969 
25 0. 68d4 1.3163 1. 7081 2. O595 2. 4861 2, 7874 
26 0. 6840 1.3150 1. 7056 2, Q555 2, 4786 2.7787 
27 日- B37 1.3137 1. 7033 2.0518 2, 4727 2.7707 
28 日 - 66834 1. 3125 1. 7011 2.0484 2, 4871 2. 7633 
29 0. 6830 1.3114 1. 8991 2.0452 2. 4€20 2. 7564 
30 0, 6828 1. 3104 1. 6973 2, 0423 2. 4573 2.7500 
31 0, 825 1. 3095 1. 6955 2,0395 2.4528 2.7440 
32 0. B22 1.3086 1. 6939 2 0369 了 4487 2. 7385 
33 0. 6820 1.3077 1. 6924 2.0345 之 .4 本 4 2.7333 
34 0. 818 1. 3070 1. 8909 2. 0322 2.4411 2, 7284 
35 0D. 6816 1. 3062 1. 8896 立 - 站 301 2. 4377 2.7238 
36 0. B814 1- 3055 1. 6883 2. 0281 全 和 345 2, 7195 
37 0, 6812 1. 3048 1. 6871 2. 0262 2. 4314 2. 7154 
38 0 61D 1. 3042 1. E6880 2. 0244 2. 4286 2.7118 
39 0. B808 1. 3036 1, 6849 >. 0227 2.4258 2. 7079 
40 0D. BOF 1. 3031 1. 6839 2. 0211 2, 4233 2. 7045 
41 0. 6805 1. 3025 1. 828 2 O185 2. 4208 2. 70]2 
下 这 0. 6804 1. 3020 1. 6820 之 0181 2. 4185 2. 5981 
43 0. 6802 1.3016 1. 6811 2. 0167 2. 4163 2, 6951 
44 和 4 0, 6801 1. 3011 1. 6802 2, 0154 2. 4141 2, 6923 
生 5 0. B800 1. 3006 1., 6794 2, 0141 2. 4121 2 6896 
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附 表 4 六 分 布 表 


P{lXCm) > Nn} = a 


| =0, 995 O. 975 DO. 75 

1 一 0. 001 妇 。 0, 102 
2 D0.010 0 051 0D. 0. 575 
3 D. O72 0. 216 0, 1.213 
4 0, 207 说 . 4B4 1. 1. 923 
5 0. 412 D831 1. 2.675 
证 0. 676 1. 237 2, 3. 455 
了 0. 989 1.690 过 4. 255 
如 1 344 2. 180 3， 5. 站 71 
9 1. 735 2. 700 4 5. 899 
i106 2. 156 3. 247 44. 6, 737 
11 2, 3. 816 5. 578 ?7.584 
12 3, .404 ¢. 304 B. 438 
13 3. 5. 009 7.042 9, 299 
14 4. 5. 629 7. ?00 J0.165 
15 4. 6. 262 8. 547 11. 037 
16 后 台 ， 9, 

17 5 7. 106, 

1g8 6 8, 10. 

19 6 8. 11, 

20 7. 9. 12 


总 表 
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六 na 一 0995| o.99 | 0875 0.95 090 0. 75 
21 8. 034 8B. B97 10.283 | 11.591 | 13.240 | 16.344 
22 8. Gd3 9.842 | 10.982 | i2.388 | 14.042 17, 240 
23 9 260 | 10.196 | 11.680 | 13.091 | 14.848 18. 137 
24 9.886 | 10.856 | 12.401 | 13.848 | 15.659 19. 037 
25 10. 520 | 11.524 | 13.120 | 14.911 | 16.473 19. 939 
26 11.160 | 12.198 | 13,844 | 15.379 | 17.292 20. 843 
27 11.808 | 12.879 | 14.573 | 16.151 | 18.114 21, 749 
28 12.461 | 13-565 | 15.308 | 16.928 | 18.935 22. 657 
29 13, 121 | 14-257 | 36,047 | 17,.708 | 19.768 23, 567 
30 13.787 | 14.954 | 16.791 | 18.493 | 20.599 24. 478 
31 14, 458 | 15.655 | 17,539 | 19.28] | 321.434 25, 390 
32 15.134 | 16.362 | 18.291 | 20.072 | 22.271 26. 304 
33 15.815 | 17.074 | 19.047 | 20,867 | 23.110 27. 219 
34 16. 501 | 17-789 | 19.806 | 21.664 | 23.952 28. 135 
35 17.192 | 18.509 | 20.569 | 22.465 | 24.797 29. 054 
36 17.887 | 19.233 | 21.335 | 23.269 | 25.643 29, 973 
37 18.5864 | 19.960 | 22,106 | 24,075 | 26.492 30, 893 
38 19. 289 | 20.691 | 22.878 | 24.884 | 27,343 31. 8]5 
39 19.996 | 21,426 | 23.654 | 25.695 | 28.196 32, 737 
40 20.707 | 22.164 | 24.433 | 26.509 | 29.051 33, 660 
41 21.421 | 22.906 | 25,215 | 27.326 | 29.907 34. 585 
42 22.138 | 23.650 | 25.999 | 28.144 | 30.765 35, 510 
43 22. 859 | 24.398 | 26,785 | 28,965 | 31.625 36. 436 
44 23.584 | 25.148 | 27.575 | 29.787 | 32.487 37, 363 
45 24,311 | 25.901 | 28.366 | 30.612 | 33,350 38. 291 
Pytn) > Nn} = & 
入 a 一 0.25 | 0.10 0. 05 0.025 | o.01 0. 005 
1 1. 323 2. 706 3. 841 6. 024 6. 635 7.879 
2 2.773 4. 605 5. 991 7.378 9. 210 10. 597 
3 4.108 6- 251 7- 815 9.348 | 11.345 12, 838 
4 5. 885 7.779 9.488 | 11.143 29? 14. 860 
5 6. 626 9. 236 .071 | 12.833 16. 750 
6 7-841 | 10.645 -592 | 14.449 18. 548 
7 9.037 | 12.017 | 14.067 | 16.013 475 20. 278 
8 10. 219 15.507 | 17,535 090 21. 955 
9 11. 389 16- 919 | 19.023 666 23. 589 
10 ,307 | 20.483 


~” 号 安全 - 


39, 8 
8 
和 下 
4 让 


4 
$1. 


3 中 


作 和 3 的 


4 
j. 阁 
[1 


了 
?由 
3 站 


65. 83 
UE 
.15.4 
水 二 


3 
,93.18 
六 如 


5 


4 
$1 
.人 


和 和 
$i] 
和 提 


附 表 5 分布 表 


PER) > Patmos)} = 
= 小 


Tal, 2058. 91 


Eek 证 
EE 
业 们 | 六 


了 和 3 
了 的 | 和 .人 
.0312.78 


, L960, 7 


| 
5 
和 用 


的 
2.67 


外相 
5 的 
了 用 


$3. 
和 时 
2 的 


所 的 
由 村 | 下 和 
立地 水 所 
3 中 


3.01 3 过 
从 


和 2,206 
A 
$,1715,1015. 18 
$2 3. $008.79 


$.1773,1613.14 
和 的 | 2 7 到 天 


MEA 


2. 8012.54|2.51 


EA 
UE 
.7813.70 


$2 
4 
2 机 | 站 


-EE 


8 
9 3,3813.01|2,81 2, 92 61|2. S012.01 2,47 0.44| 2. L238 2.34|2,30 2.2802,251 2,23 2.21|2.18 2.16 


0 9202 22 G22 0 12 41 2. 382,30 2, 921 2 28 2, 2402.20 2,18|2.16 2.13 2 1112.0812.06 
1 2312,8612, 06 2,54| 246012 3012,342.30 02.27 2, 25 2.21|2.1702.12 2.1002.08 2.0 2,0302.0001.97 
12 的 | 入 仙 | 村 的 执 时 租 计 的 | 的 
13 9,14)2,76 2,56 2,4312.35 2. 2812,23)2,20 2.16 2,14 2.1002.0512.01 011.0811.96 1.9371,9001,88|1.85 .. 
14 19,1002.73 2.52 0,912.3 2.2412.1912.15 2.1212,10 2.0512.0141, 9 1, 89411.91 (1. 89,1.8612,.8311.80 


13 09712,70 2,49)2, 38 012,27 2.21 2. 16)2.12 2,0902,061 2.02|1.9711.9214.9071, 87 1,8511.8211,79 1.76 
18 3.05|2.67 40|2. 331 2.24 2 1812,13|2. 0912.08 2 63 1.9911. 90411. 8911, 8B? 1, 84 011,81|1. 7801.7501. 02 
1 
18 3,07)2, 6212.4212.20 2,20 2.1312.08|2.04)2. 0001.9811. 9801.93.84|1. B11. 78,1.75|1.72 1, 091. 6 
过 的. 三 11 2.06,2, 09|1. 98 11 8601.91 186 01. 81,2901, 781. .70 1. 7 1. 


20 2,97 0,591 2 88 2.25|2,16|2, 09 2,04 2,0011, 8)1, 94 11,8901, 84 1,7901, 77 1. 2743.7141,.0811.6411.6] 
2 2 
WE 
中 1 
中 和风 | 到 | 和 | ,10 2 G4|1. 08 1. 9411, 01 1, 8811,83|1,78|1,7811, 90 4, 68711, 6411.61 | 1, 57|1. 5 


各 | 各 [581 和 1 0 1 91. 1, 11 .8911, 3611, 4 
名 ,1 1 

2 7 的 色 的 拐 |1. 人 411,8911.8511. 01.7511.70 1 ,的 | 5 绚 | 二 
虽 区 | 交友 的 和 人 | 的 吕 .暗部 [1 区 和 1 下 | ,的 | 关 由 多 | 内 


15|2.0811,09 ,953,89|1. 86|1.33| 1.78 11.73|1. 68 11 1,5 


= BES “ 


249, L120, 1 


19. 4 
从 


$075.7 


上 兄 | 二 鸣 | 于 缉 
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名 | 后 | 汪 站 1,6713.3313.10122 侧 | 多 8 .032 832090249 230902, 8 2 20 ,16 2.0912.0811 

27 56.634,24 .65)3. 31,3, 0812, 02 12.80 2.71 163 | 和 交 | 人 25 本 久生 人 的 | 季 | 交 
6 


ED EAA A 
路 5. 591 4,0019. 1|3. 27|3. 0412, B812, T6267)2, 5012. 53 2.43 2.3212,21 215 2.009020 1. 311, 
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附 表 6 二 项 分 布 表 


(a) g 表 (c 一 0. 10) 


> 34151 6 .7 | sis |w |” 20 
i 
1 [8.93h3.4 he.4 fs.s lo.2 fk.s lea.e Es 24.5 E76 le.7 
2 |4.13|5.7316.77|7.54|8.14}8.63 | 9.05|9.41|9.72 ho.9 p17 
3 13.33|4.47|5.20 |5.74|6.1616.5] |6.81| 7.06 |?.29 |8.12|8.68 
4 3.01 | 3.98 | 4.59 [ 5,03 | 5,.39| 5.68 | 5.93| 6.14| 6.33| 7.02| 7.350 
5 |2.8513.72|4.26| 4.6614.98 | 5,24|5.46|5.6515.82 | 6.44|6.86 
5 | 2.75)3.56| 4.07 | 4.44|4.73|4.97|5.17|5.34|5.50 |6.,07 |6.47 
7 |2.68|3,45|3.93 | 4.28| 4.55|4.78 | 4.9715.14|5.28|5.83|6.19 
8 |2.63|3.37|3.83 | 4.17| 4.4314.65 | 4.83|4.99 |5.13|5.64|6,.00 
9 12.59|3,32)3.76 | 4.08 | 434|4.54|4.72| 487|5.01 |5.51|5.85 
10 [2.56| 3.2713.7004.02|4.26| 44714.64|4.78|4.91 | 5,.40|5.73 
11 |2.54|3.23| 3.68| 3.96|4.20| 4.40|4.5714.71 | 4.84|5.31 | 5.63 
12 |2.52|3.20|3.62 | 39214.16|4.35 | 4.51|4.65 | 4.78|5.24|5.55 
13 |2.50|3.18|3.59|3.88 | 41214.30|446|4.60|4.72|5.18|5.48 
14 |2.49|3.16,3.56|3.85 | 4.08| 4.2714.42 | 4.56|4.68 | 5.1215.43 
15 [2.48 | 3.1413.54|3.83| 4.05|4.23|4.39|4.52)4.64|5.08|5.38 
16 | 2.47|3.12| 3.52| 3.80| 4.03| 4.21 :4.36 | 4.49| 4.61 | 6.04 | 5.33 
17 | 246 3.11| 3.50|3.78|4.00| 18| 4.33| 4.46 | 4.58 | 5.01 |5.30 
18 |2.45|3.10|3.49|3.77| 3,98|416 | 4.3114.44 | 4.55|4.908|5.26 
19 |2.45|3.09|3.47|3.7513,971414| 4.29| 4.42 | 4.53| 4.95|5.23 
20 |2.44|3.08|3.46|3.74| 3. 95 0412 | 4.27| 4.40 | 4.51 | 4.92|5.20 


* B47 * 


(by og 表 ({e 一 0.05) 


* 848 * 


《cy go 表 人 a 一 0.01) 


吾 5. 24 | 6&. 对 7.03 了 .5 和 了。 | 8.3 8. 中 B.87 9 19 9.99 10.5 

7 4.95| 5.99 6.54 7.0. 7.37 7.68 7.9d .17 8.3] 913 9.65 
8 4.74] 5.63 6.20 6.69 6.96 7.2dg 7.47 7.69 7.87% 8.55 9.03 
9 4, 60 | 5-43 5 ad 6.39 6.56 6, | 7.1 习 了 7 了 .33 ?了 .4 8. 有 ,57 
10 | 4.48 | 5. 中 5.7? 6. 68, 4 G6.67 6.87 7.05 7.2]| ?7.81 8.22 


* 849°* 


附 表 7 科 尔 莫 戈 罗 夫 分 布 表 


本 表 列 出 了 用 公式 
十 re 
了 
QW 一 D1 em 
站 一 一 = 

所 定 的 函数 (4) 的 值 

和 A tdy A 4) 
0. 3210. 0000 | 610. 2236|1, G0|0. 7300|1, 3410. 944911, S810. 9929 2. O210. 9994 
0.33|0. 000110. 67 |0. 239611. O10. 7406|1. 3510, 9478|1.69|0, 9934|2. 03|0, 9995 
D0. 3410. 0002|0. 88|0, 2558[1- 0210,. 7508|1. 36|0. 9505|1, 70|0. 993812, 04|0. 9995 
0.35|0. O003|0, 8910. 2722|1.03|0, 7608|1. 37|0. 9531|1.71|1, 9942|2. 0510, 9996 
0. 3€|0. 0003|0, 70|0. 3888 |1, 04|0. 7704)1, 3810. 95561|1, 7210. 9946|2, 0610. 9996 
0, 37 0. D008 |0. 71|0. 3055|1, 05|0. 7798]1. 3910. 958011. 7310. 9950 |2. 07|0. 9998 
0.38|0, O013|0. 72|0, 322311, 06|1. 7889|1. 40|0, 9603|1. 74|0, 9953|2. 08|0. 9996 
0. 3910. 001910, 73|0. 339111. 0710. 797611, 4110. 9625|1, 75|0. 995612, 09 2. 9997 
0. 4010. 0028|0, 74|0. 3560 11. O810. 8061 |1, 42|0. 9646|1, 76|0, 9959|2. 1010. 9997 
0.41|0. 004010. 75|0, 3728|]. 0910. B143|1. 43|0. 966511, 77|0. 9962|2, 11|0. 9997 
0. 42|0. 0055|0, 76|0. 3896|1., 10|0, 8223|1, 44|0. 9658411. 7810, 9965 |2. 12|0. 9997 
0.43|0. 0074|0. 77|O. 4064|1.11|0. 8299|1. 45|0. 9702|1. 79|0. 9967 |2.13|0. a998 
小 £4|0. O09710, 78 | 0, 4230]1. 1210.8374|1.46[D. 9718|1. 80|0. 9969|2, 1410. 9998 
0, 45|0. 0126|0, 7910. 4395|1.13|0, 8445|1. 47|0, 9734|1. 81|0, 997112. 15|0. 9998 
0. 46|0. O60|0. BOIO. 4559 |1. 14|0. B514|1. 48|0. 975011, 82|0. 9973|2, 16|0. 9998 
V47|0. O20010, B81 |O. 4720)1,. 15|0. 8580| 1. 49|0, 9764[1. 8310, 9975|2. 17|0, 9998 
O4810. O24710. 82|0. 4880|1. 1610, 864d|1. 50.0. 9778|1, 8410. 997712, 18|0. 9999 
0. 49|0. 0300|0. 83|0. 503811. 1710. 8706| 1, 5 0, 9791|1. 85|0. 99792. 19|0. 090% 
0. 50|0, O361| 0. 8410, 5194| 1. 18|0, 8765|1.52 0. 980311, 86 |0. 9980|2, 20|0. 9999 
0.31|0. 0428|0, 85|0. 5347|1. 19|0. 8823|1.53 0. 9815|1. 8710. 9981 |2. 21|0, 9999 
0. 532|0. O503]0. 86|0. 54971. 20|0. B877|1. 54/0. 9826|1, 88|0. 998312, 22|0. 9999 
0.53|0. 058510. 87 |0, S645|1. 21|0, 8930| 1. 55|0. 9836|1. 89|0. 9984|2. 23|0. 9999 
小 5410. 0675|0. 88|0. 5791|1. 22[0. 8981 |1, S60. 9846|1. 90|0. 9985|2. 24|0, 9999 
0.55|0,. 0772|0. B910, 5933|1. 23|0. 8030|1.57|0. 985511, 9]1 10. 9986 |2, 25 |0. 9999 
0. 58|0. 0876|0, 9010. 5073|1,. 24|0. 907611. 58|0, 9864|1. 92|10, 998712. 26 |0. 9999 
0.57|0, 0987 0. 91 |0, 820911. 2510.9121|1. 5910. 9873|1.93|0. 9988|2, 27|0. 9999 
0. 58|0. 110410. 92 10.6343|1. 2610. 916411, S010. 9880|1. 94|0, 9989 |2. 2810. 9999 
0. 59 10. 1228|0. 93|0. 6473|1. 2710, 9206| 1. 61|0, 9888|]. 95|0. 999012, 2910. 9999 
0. 60|0. 135710. 9410., 6601 11. 2810. 9245|1. 2|0. 9890511, 98 |0. 0991 [2. 30|0, 9999 
0. 6110. 1492|0. 9510. 6725|1. 29|0. 9283|1.63|0, 990211. 97 |0. 9991|2, 31|1. o000 
站 62|0. 1632|0, 98|0,. 6846|1. 30|0. 9319|1. 64|0, 9908|1. 9810. 9992 
D0. 63|0. 1778|0.97|0.6963|1, 31|0. 1 0. 991411. 3910. 9993 
0 B84 |O. oD. OQ, 1. 性 1 D0. 9919|2, 0010, 9993 
0. 8510. D, 0. 1 , 1 QO. 9924 | 2,01 |0. G004 


附 表 8 正 交 设计 表 


Lal23y Lgl27) 
出 号 
1 2 3 3 1 23 4567 
站 难当 1 1 
1 1111 
1 1 1 1 2 1 11 2222 
3 1 22 1122 
2 1 2 2 4 1 22 2211 
5 2 12 1212 
3 2 1 2 6 2 12 2121 
2 2 1 ? 21 1221 
4 一 es 8 本 21 2112 
组 1 2 组 1 2 号 
Za(27) 二 列 间 的 交互 作用 
列 导 2 3 4 5 6 ? 
届 
1) 3 2 5 4 7 3 
(2) 1 6 7 4 5 
C3} 7 6 5 4 
(4) 1 2 3 
‘SY 3 加 
06) 1 


LIs(27) 表 藉 设 计 
列 导 


1 2 3 和 5 台 了 
因子 数 
3 1 B AxXB 忆 AxC BxXU 
AXB AxtC BxXU 
4 人 3 CxD C BxXD AxD 
8 站 - 五 
4 | xD AXEB BXD AXU 中 Xe 有 XD 
D 
5 科 B 骨头 加 总 XD AXE 5 
DxE CxD CxXE BxD BxE BxC AXD 


也 8 和 2 


ty 
3 
器 


1 1 1 1 1 1 
2 1 2 2 2 2 
3 2 1 1 2 2 
4 2 2 2 1 1 
5 3 2 1 2 
6 3 2 1 2 1 
7 4 1 2 2 1 
B 4 2 1 1 2 
zat4X20 表 头 设计 
列 号 1 机 3 4 5 
泗 
2 怠 B (AXBY {AXB), (AXH): 
3 4 Ba 站 
4 A 二 [到 万 
5 A B 石 


3 1 1 2 2 2 1 1 ] 2 2 2 
4 1 加 1 2 1 2 2 1 1 2 
5 上 这 2 1 2 2 1 2 1 1 
1 2 1 2 2 1 1 1 

2 1 1 1 2 2 1 1 
8 2 1 2 1 2 2 2 1 1 1 2 
9 2 3 ] 2 2 2 1 2 2 1 1 
10 2 EE 1 1 1 1 2 了 2 
11 2 2 1 2 1 1 2 2 
1 2 2 1 2 1 2 1 2 2 1 


List215} 


10 
11 
12 
13 
1 生 


Lust215) 二 独 间 的 交互 作用 


10 13 12 15 14 


11 


8 


‘1) 


(2 


(3 7 


10 11 


(4 


10 


1 


(6) 


(8) 


列 号 
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. ata) 表 类 没 计 ， 


WW 1 2 3 9 7 8 9 5 
国 
¢ IA BB AXP Axt BxC Db AxD BxD LxD 
5 [AB AxXB Axt BxC DxE D AxXD BxD CXE CXD BXE AXE E 
A 了 了 AXB Axt BxC D AxD BxXD EE CxD FF CXE 
6 DXE DXP BXF BxE AXE 有 BxF 
CxF 
-| -一 
HB AXE © AxC BxC D AxXD BXD EE CxXD F © CXxE 
7 DXE 及 六 及 用 bxE AxE AXF BXF 
FxG Exo Dxt CXF CxG Bx6 Axt 


AxXC BXC HH DD AXD BXD EE CD F oo CxE 
DxF ExF Bxk AxE AxF BXF 
ExG Dx CXF CX Bxb 4X0 


BxXH AXH GxH FxH 


Lstd 212) 


列 呈 |] 2 3 4 5 8 7 8 9 10 1 12 13 
试验 号 — 
1 1 i 1 T 1 1 1 1 1 1 1 1 1 
2 1 1 1 1 1 2 2 2 2 2 2 2 2 
3 1 2 2 2 23 1 1 1 1 2 2 2 2 
4 1 2 2 2 2 2 2 2 2 1 1 1 1 
5 2 1 1 2 2 1 1 2 2 1 1 2 2 
6 2 1 1 2 2 2 ?2 1 1 2 2 1 1 
7 2 2 2 1 1 1 1 2 2 2 2 1 1 
8 2 2 2 1 1 2 2 1 1 1 1 2 2 
9 3 1 2 1 2 1 2 1 2 1 2 1 2 
10 3 1 2 1 2 2 1 2 1 32 1 ?2 1 
11 3 2 1 2 1 1 2 1 2 2 1 2 1 
12 3 2 1 2 1 2 1 2 1 1 2 1 2 
13 4 1 2 2 1 1 2 2 1 1 2 2 1 
14 村 1 2 2 1 2 1 1 2 2 1 1 2 
1§ 4 2 1 1 2 1 2 2 1 2 1 1 2 
16 4 2» 1 1 2? 2 1 1 :2 1 2 2 1 
iet4XX213) 表 头 设计 
1 2 3 4 5 6 7 
因 于 炊 
3 本 再 (AXBY! (AXB): AxXB) C (AXCh 
{AXBY1 {AC 
4 六 B CxD {AXB)Y: (AXB)y [i BxD 
CAXB): (AXBY): CAXC)) 
入 
5 4 8 CxD CxE ‘XB < EXD 


10 


CAXCY 【明江 和 3 BxXU 


, BKC 
4 tAxCYs CAXCYa (AX DY | (AXDY (AxD): 
BxC 
{XCIs LD EE {EN 
5 CAXC)s (A4xDNh 
A 
BxE (AX EYs {AXEYs CAXDY AXxDYs 


”855 ， 


Listd? xX 29) 


il 


10 


Lietdt x 23) 


Ltd X26 


列 


[2 
Ls 
过 
mn 
mm 
[| 
中 


二 和 2 2 区 2 


3 1 2 2 2 2 


3 2 4 1 2 1 


3 4 2 2 


4 


2 1 22 


4 2 1 


1 


4 2 .321 


1 


4 3 .2123232 1 
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LitBX 23) 


Lietd5) 


2 3 4 5 § 7 8 9 


人 
和 
人 
和 
NO 人 Nm 的 下 寺 中 吉 ] 一 
和 


Laot2!?) 


2456 7 8g 9 101112131415 1617 1819 


王 一 RS 一 


| 


el CY CY re 


下 四 中 《da ec 


四 古 一 加 


四 四 中 


一 一 一 


| ee 


Tm 


mem 


一 


一 5 


A 


ml FY OY EY 


一 一 | 


pd A rr Ed CA 


站 中 一 


一 中 一 一 


人 


呈 中 9 


Sm 


Co 


| 


TA 


TA 


boi 3 


bm | 


Cm 


[| 


Lm b= me 


后 四 说 站 一 


Lem 


I 


A 


A 


Hm 


lm 


Be lm 


Le 中 


A 


Mm 


wl OY CY A 


[mi 


[> 


[Ee 


于 


> ed 2 一 


人 


TY mt I 


四 人 一 


MH 


rd 


a 


mm 


Em rt 


Te Tt ed EY 


mr 


I 一 


四 ee | 


I 


I 尾 ] 一 4 


Fy 四 3 


BE 人 一 


II 


[| 


ra CY 人 愉 1 


证 四 5 的 人 


Ed 下 


CR | 


Lom 一 一 


后 一 的 的 一 


人 


ml Yr 


Domini 四 


A 


2 
巡 忆 加 下 忆 


11 


12 
13 
14 


15 


i6 
17 
18 
19 
20 
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Lut Bt) 


mm 


rm 地] 一 


二 列 。 


列 间 的 交互 作用 为 男 外 


注 任意 二 


Lgt2 XK 3)T 


10 
11 


12 
13 
14 
15 
16 


17 
18 
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Lart3!3) 


器 


mn 


列 导 


10 
11 
12 
13 
14 
15 
16 
17 
18 
19 
20 
21 


22 
23 
24 
286 
27 


工 zf313) 表 头 设计 
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~ 


3 Eo 一 cap ea cm rm ar ra ev era nm uc 一 一 
= 一 =3 = mh am ep 一 = om 一 = 一 as 一 一 一 一 = | 一 :3 
< a 
Ce 一 
I 一 
-一 、 
二- | ml 
EE 5 一 cr 
Es | 
< 本 二 op ea -re oem 一 
-一 
~ i < — Ta ~ 
os 一 h em cc cp mr- ra xs -mh ac 一 
a = < 一 
-一 一 
em CC = 和 
三 on 三 
< bm | ry 一 CD < 一 一 = em 
< = aa ur 一 < 一 一 -3 = 一 EE 
= ee— | EC 一 | bl ep 
EE =_™ 二 ce 一 3 = Ee ~ < Es 
EC 一- < 人 一 一 让 -一 
一 一 一 一 一 
Ee mo TE 
-一 
Ee Lr < 1 
ia] 一 [= | ey 
ee 
< = sa 一 全 < 
LE 
至 - 一 
FE Ce i 下 cs 
1 -一 
所 一 二 
ES 二 
二 一 
2 Be 
Cw My 
Fe 
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附 表 9 


er 


到 一 


下 


siner 


CS 


She 


chat 


tmsinats tm 一 1 


eoagi: tm > —1) 


拉 普 拉 斯 变换 简 表 


Tmt+1) 
2a "Ti 


XEtst ati Cs— ja)™t!] 
了 TH 十] 

20s: Fal)"+! 

xEtstjamtlt ts— ja)"+!1] 

-aa _ _ 

(5 十 再 3 证 加 


5 十 百 
Cs 二 ?ta 


。 有 取 自 # 积 分 变换 $( 工 程 数 学 ) ,高 等 教育 出 版 社 ,1978 


“86] « 


< 一 一 一 


续 表 


Fn Fs) 

13 | e *sintarstey te 
14 | sin® 二 | -sr | 
15 | cosif 十 | 十 十 二 ] 
16 | sinatsinht A 
1? | er es 5 
18 | ge —be™ me 
了 十 siaas 一 中 sinke rr 
20 | cosat— cost ey 
21 点 (1 — Cosar) rs 
22 上 二 (es 一 sinan 二 
23 去 (eosat 一 1 ?十 到 让 去 直面 
24 让 (ehar—D— ar es 
25 tsinar— utcosat} sy 

Da 《3 十 2 32 
26 | 二 sinat 二 

1 证 

27 Ba Minatt atcosat) Tays 
28 去 4 —cosar) 一 二 esina ta 


DD 


862， 


| Ft) | Fts) 
a 5 
29 | 和 1 一 aoe 二 
站 _ 5 
30 4 一生 :): Gtays 
1 一 1 
31 le wy Tay) 
1 1 ee et 1 
全 | 一 ”一 -=- 
32 点 + 局 | ba ] ET 
BE- | 2 
Data (a6 eb 1 
33 中 一 一 一 一 一 
eo Cs 二 a (3s 十 BY Cs 二 5 
tea 
HF 十 Be—* 
oo te—aytae—b) {ua—6 tb—e) s 
4 ce (sa) tsth (s+e) 
tee te a 
He 十 bie—* 
oD Ce—altb—a) (Cap)tc—sy) $2 
35 CIE {statste)tst ey) 
十 ECG 
36P ex 一 [1— (eb)r] 上 
(a—by? sta tst+b): 
49 [a—bta— dtle "—ae ™ 
" ta—p)? {say ts+ es 
_ 当下 / 322 
3 Le sin ~ 4| BT 
3 
39 | sinatchat— cosarshat EE 和 
1 . 3 
站 站 maisinatshat Raa 
1 - 1 
41 Dar (shat—sinat) rp 
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42 
43 


1 
Yi 
44| 2 
TT 
1 


Vm 


1 


46 
2 Vs 


47 | 人 着 


45 emntl+ 2art) 


(er —e”) 


48®| Jo tat) 


49®1 Iotat) 


50 | Jof2 Yat) 


1 a 
61 cose vat 
Vm 
Ee 记 var 
63 "2 Yat 
1 - 
G4 sh2 [i 
he 


55 (me) 
56 二 shaz 


2 
了 人 1 一 cosat) 


“864。 


i {ehat—cosat) 


续 表 


本 


续 表 


58 | 二 (1 一 chag ln 
i 3 
59 | sinar cig 
1 FT 号 
60 | Htchat—cosbt) Ina/ + 
J 
1 ， a 
1B) —sint2av f ) | ) 
ov AF 
1 swv 1 = | a | 
2 中 eerfe 二 
Yn Ys 5 
a 1 
63 | erf | | ear 
av 3 
4 ef 去 | eserfetas) 
加 式 中 ,5c 为 不 相等 的 常数 ， 


国 I 二 j"JCjry ,J 称 为 第 一 燃 + 阶 贝 赛 尔 (Bessel) 遇 救 . 了 称 为 第 一 类 nn 阶 
变形 的 克 塞 尔 数 ,或 称 为 碟 宗 其 的 贝 宗 尔 函数 ， 


Ea 


2 3 » 
名 erftx)= | df; 称 为 误 冶 函数 . 
Vr 


二 
erfcCr)=1—erttz} = 2 上 ed 称 为 余 误 益 函 数 . 
J 


+ 
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